本周一，愛丁堡大學(xué)的研究人員開發(fā)了一種基于人工神經(jīng)網(wǎng)絡(luò)的模型，用以自動(dòng)生成電影預(yù)告片。
電影制作公司發(fā)布的預(yù)告片，通常是其宣傳新電影時(shí)采用的促銷策略中的關(guān)鍵要素。為了讓預(yù)告片的效益最大化，該短片應(yīng)該簡(jiǎn)要總結(jié)電影的情節(jié)，以吸引人的方式傳達(dá)其藝術(shù)風(fēng)格和情緒意境。
到目前為止，電影預(yù)告片主要是由人類制作的。然而，最近一些計(jì)算機(jī)科學(xué)家開始探索這些宣傳片也可以由機(jī)器自動(dòng)生成的可能性。
愛丁堡大學(xué)的研究人員將電影片段建模為圖形，通過無監(jiān)督學(xué)習(xí)算法來識(shí)別、生成電影預(yù)告片。
該模型在 11 月 16 日發(fā)表于 arXiv 上的一篇論文中提出。
論文鏈接：
https://techxplore.com/news/2021-11-automatically-movie-trailers.html
一、AI 剪片，兼顧敘事結(jié)構(gòu)和情感
為了自動(dòng)創(chuàng)建預(yù)告片，研究人員構(gòu)建的算法模型需要先執(zhí)行低級(jí)別的任務(wù)，如人物識(shí)別、動(dòng)作識(shí)別和情緒預(yù)測(cè)，還需要執(zhí)行更高級(jí)別的任務(wù)，如理解事件之間的聯(lián)系及其因果關(guān)系，對(duì)特征及其動(dòng)作進(jìn)行推斷。
考慮到任務(wù)的復(fù)雜性，算法模型直接從電影預(yù)告片中獲取所有這些信息將需要成千上萬個(gè)樣本，而這些樣本的處理和標(biāo)注也將是一個(gè)挑戰(zhàn)。
因此，以前的自動(dòng)預(yù)告片生成方法僅僅集中在視聽特征上是不足為奇的。
受人工編輯預(yù)告片的創(chuàng)造性過程的啟發(fā)，為了更好地處理自動(dòng)電影預(yù)告片生成的任務(wù)，愛丁堡大學(xué)的研究人員采用了一種自下而上的方法來生成預(yù)告片，他們將預(yù)告片分解為兩個(gè)更簡(jiǎn)單且定義明確的子任務(wù)，即電影敘事結(jié)構(gòu)的識(shí)別和對(duì)其傳達(dá)的情感的預(yù)測(cè)，他們創(chuàng)建的模型可以處理電影的一部分視頻和電影劇本中的文本提取。
“我們利用劇本作為信息的來源，提取關(guān)于電影中的事件、角色和場(chǎng)景的知識(shí)，然后利用這些知識(shí)在視頻中確定值得發(fā)布預(yù)告片的鏡頭?！?/p>
“我們將電影建模為圖形，鏡頭作為節(jié)點(diǎn)，用來表示圖形之間的語義關(guān)系?！边M(jìn)行這項(xiàng)研究的三位研究人員 Pinelopi Papalamidi、Frank Keller 和 Mirella Lapata 在他們的論文中寫道。
▲ 建立圖片模型
“我們使用聯(lián)合對(duì)比訓(xùn)練來學(xué)習(xí)這些鏡頭關(guān)系，通過無監(jiān)督算法模型瀏覽圖片并生成預(yù)告片?！?/p>
此外，未標(biāo)注的劇本文本語料庫也比較容易獲得，可以用來對(duì)該模型進(jìn)行預(yù)訓(xùn)練。
二、五大步驟，兩個(gè)模型“研磨”劇本和影像
在這個(gè)算法模型中，對(duì)兩個(gè)子任務(wù)的實(shí)現(xiàn)方式與傳統(tǒng)的預(yù)告片產(chǎn)生方式不同。
首先是敘事結(jié)構(gòu)的識(shí)別，即檢索電影中最重要的事件。電影編劇中普遍采用的理論認(rèn)為，電影中有五種關(guān)鍵事件，稱為轉(zhuǎn)折點(diǎn)（TPs），如下圖所示，這五個(gè)關(guān)鍵事件分別為機(jī)會(huì)、計(jì)劃改變、沒有回報(bào)、主要挫折、高潮。
▲ 電影敘事中的五個(gè)關(guān)鍵事件
第二個(gè)子任務(wù)是情緒預(yù)測(cè)，研究人員將其視為鏡頭和喚起的情緒之間的關(guān)系近似值。
研究人員按照一種非監(jiān)督的基于圖形的方法來生成預(yù)告片。此外，鏡頭帶有表示它們是否是關(guān)鍵事件的標(biāo)簽，并帶有表示情緒強(qiáng)度，如積極或消極的分?jǐn)?shù)。
▲ 選取關(guān)鍵轉(zhuǎn)折點(diǎn)
該算法通過瀏覽利用電影建模生成的圖形來創(chuàng)建預(yù)告片序列，然后由人工編輯進(jìn)行審核和修改。
關(guān)鍵事件轉(zhuǎn)折點(diǎn)識(shí)別和情緒預(yù)測(cè)的任務(wù)都得益于對(duì)電影內(nèi)容的較低層次的理解。
事實(shí)上，該算法可以利用現(xiàn)成的模塊來識(shí)別字符和圖形位置、記錄動(dòng)作和定位語義單元。然而，這種方法大大增加了訓(xùn)練和推理過程中的預(yù)處理時(shí)間和內(nèi)存需求，并且產(chǎn)生理解錯(cuò)誤的問題。
因此，研究人員提出了一種對(duì)比學(xué)習(xí)機(jī)制，在這種機(jī)制中，利用只有在培訓(xùn)時(shí)間才能獲得的電影劇本中的有效信息。電影劇本可以揭示電影如何被分割成場(chǎng)景，電影角色基本情況，他們?cè)诤驼l說話，他們?cè)谀睦?，他們?cè)谧鍪裁吹葍?nèi)容，也就是電腦的“場(chǎng)景標(biāo)題”和“動(dòng)作線”可以解釋動(dòng)作發(fā)生的位置、描述鏡頭看到的東西。
▲ 生成預(yù)告片
具體來說，研究人員構(gòu)建了兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)模型，一個(gè)是基于劇本的文本網(wǎng)絡(luò)，另一個(gè)是基于視頻的時(shí)間線網(wǎng)絡(luò)，并使用對(duì)比對(duì)它們進(jìn)行聯(lián)合訓(xùn)練。
結(jié)合起來，這兩個(gè)神經(jīng)網(wǎng)絡(luò)可以識(shí)別電影中的關(guān)鍵時(shí)間，并呈現(xiàn)在預(yù)告片中。
文本網(wǎng)絡(luò)還可以通過自我監(jiān)督的學(xué)習(xí)對(duì)大量的電影劇本進(jìn)行預(yù)處理，而不必收集和處理相應(yīng)的電影畫面。實(shí)驗(yàn)結(jié)果表明，這種對(duì)比訓(xùn)練方法是有益的，可以使預(yù)告片在內(nèi)容和吸引力方面得到人們的好評(píng)。
▲ 研究人員提出的神經(jīng)網(wǎng)絡(luò)模型框架
三、41 部預(yù)告片，轉(zhuǎn)折點(diǎn)評(píng)估更準(zhǔn)確
研究人員通過一系列測(cè)試來評(píng)估該模型制作電影預(yù)告片的水平，結(jié)果顯示它可以比其他用于生成電影預(yù)告片的基線方法更準(zhǔn)確地識(shí)別電影中的轉(zhuǎn)折點(diǎn)。
此外，研究人員還使用他們的模型為 41 部不同的電影制作了預(yù)告片。然后，他們?cè)诿绹?guó)數(shù)據(jù)標(biāo)注眾包平臺(tái) Amazon Mechanical Turk 招募了一些觀眾，詢問他們喜歡看的電影預(yù)告片是哪些，然后將電影原有的預(yù)告片和通過他們的模型生產(chǎn)的預(yù)告片進(jìn)行對(duì)比，獲得觀眾對(duì)兩種預(yù)告片的評(píng)價(jià)。
有趣的是，大多數(shù)受訪者更喜歡由他們的無監(jiān)督模型創(chuàng)建的預(yù)告片，而不是由監(jiān)督模型制作的預(yù)告片。也有部分預(yù)告片獲得了較低的評(píng)價(jià)。
將電影建模為圖片并進(jìn)行大范圍的計(jì)算，替代之前的單獨(dú)選擇鏡頭，有助于創(chuàng)建連貫的預(yù)告片。然而，同樣的模式也存在確定，這種方法本身并不能保證高質(zhì)量的預(yù)告片產(chǎn)出。
研究人員在他們的論文中補(bǔ)充說：“未來，我們希望更多專注于預(yù)測(cè)電影中的細(xì)粒度情緒的方法，例如，悲傷、厭惡、恐怖、快樂。在這項(xiàng)工作中，由于缺乏標(biāo)記數(shù)據(jù)集，我們將積極、消極情緒視為情緒的替代品?！?/p>
結(jié)語：加速預(yù)告片制作，情感數(shù)據(jù)集仍欠缺
初步實(shí)驗(yàn)表明，Papalampidi、Keller 和 Lapata 創(chuàng)建的模型可能還不能制作出完美的預(yù)告片，對(duì)于預(yù)告片是否劇透、情緒傳遞的準(zhǔn)確性問題還有待解決。將精細(xì)的情感知識(shí)從其他領(lǐng)域轉(zhuǎn)移到預(yù)告片制作領(lǐng)域會(huì)導(dǎo)致不可靠的預(yù)測(cè)。未來的工作包括新的電影情感數(shù)據(jù)集，以及基于文本和視聽線索的情感檢測(cè)模型。
但該模型最終可能會(huì)被電影制作公司用來促進(jìn)和加快預(yù)告片的制作。同時(shí)，該團(tuán)隊(duì)計(jì)劃繼續(xù)研究他們的技術(shù)，以進(jìn)一步提高其生產(chǎn)的預(yù)告片的質(zhì)量。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。