近日，英國(guó) AI 創(chuàng)企 Flawless 使用 Deepfake（深度偽造技術(shù)）調(diào)整演員面部表情，讓他們改變口型說(shuō)外語(yǔ)，解決觀(guān)眾觀(guān)看外國(guó)電影時(shí)演員口型與字幕或配音不同步的問(wèn)題。
該公司將這一可視化翻譯技術(shù)產(chǎn)品命名為 TrueSync，在該工具下，湯姆?漢克斯在《阿甘正傳》中也可以流利地說(shuō)著日語(yǔ)。
電影使用 TrueSync 再制作后，即使一名演員用英語(yǔ)拍攝了一部電影，對(duì)于聽(tīng)中文配音的電影觀(guān)眾來(lái)說(shuō)，似乎所有的演員都在講中文。
一、多語(yǔ)言可視化翻譯，Deepfake 釋放電影潛力
使用 Deepfake 技術(shù)改變視頻存在一定風(fēng)險(xiǎn)，因?yàn)檫@會(huì)創(chuàng)造從未發(fā)生過(guò)的場(chǎng)景，讓演員講出他們沒(méi)有說(shuō)過(guò)的話(huà)，例如楊冪換臉等視頻的出現(xiàn)給當(dāng)事人帶來(lái)一定的困擾。
但 Deepfake 技術(shù)也可以讓電影制作更為便捷，成本更低，釋放電影真正的潛力。
事實(shí)證明，以前將外國(guó)電影進(jìn)行多語(yǔ)言配音或字幕更改的方式，會(huì)降低電影畫(huà)質(zhì)，對(duì)外國(guó)觀(guān)眾來(lái)說(shuō)觀(guān)看較差。
Flawless 公司的 TrueSync 工具將 Deepfake 技術(shù)用于電影制作，電影制品人和內(nèi)容所有者都可以利用 TrueSync 工具將外語(yǔ)電影視覺(jué)翻譯成任何觀(guān)眾的母語(yǔ)。
二、變口型后電影沒(méi)法看？最大限度保留表演細(xì)節(jié)
Flawless 匯集 AI 科學(xué)家、電影制片人和技術(shù)人員，所研發(fā)的 TrueSync 工具是全球首個(gè)使用 AI 以多種語(yǔ)言創(chuàng)建完美對(duì)口型可視化的系統(tǒng)。
TrueSync 可以最大限度的保留原版電影的質(zhì)量和沉浸感，保留所有演員特質(zhì)表演細(xì)節(jié)。
因此，大家無(wú)需擔(dān)心 Deepfake 技術(shù)會(huì)破壞電影整體情緒。
在計(jì)算機(jī)圖形學(xué)的飛速發(fā)展下，Deepfake 技術(shù)也在不斷迭代。
現(xiàn)在，業(yè)余創(chuàng)作者只需要用手機(jī)和電腦，也可以創(chuàng)作出好萊塢水準(zhǔn)的電影，而無(wú)需耗費(fèi)好萊塢電影類(lèi)似的成本。
例如，曾經(jīng)在視頻剪輯中手動(dòng)擦除對(duì)象是一個(gè)非常耗時(shí)的過(guò)程，需要逐幀調(diào)整，而現(xiàn)在剪輯軟件已經(jīng)可以自動(dòng)處理了。
三、剪輯師、鬼畜者福音，“AI 換嘴”技術(shù)已逆天
近年來(lái)，AI 圖像處理能力正持續(xù)突破，各國(guó) AI 換口型技術(shù)也在不斷創(chuàng)新迭代。
印度海德拉巴大學(xué)和英國(guó)巴斯大學(xué)研發(fā)了一個(gè)名為 Wav2Lip 的 AI 模型，可以在視頻中同步生成準(zhǔn)確唇語(yǔ)。任何人物身份，甚至包括卡通人物，任何語(yǔ)音和語(yǔ)言，都可以將口型視頻高精度同步到任何目標(biāo)語(yǔ)音。
▲Wav2Lip 技術(shù)下配口型
美國(guó)華盛頓大學(xué)基于公開(kāi)的音視頻片段，用 AI 分析了數(shù)百萬(wàn)幀影像，以確定嘴唇、牙齒、嘴角等臉部變化，生成了口型幾乎完美匹配、高度逼真的假視頻。
▲換口型技術(shù)流程圖
此外，斯坦福大學(xué)、馬克斯普朗克信息學(xué)研究所、普林斯頓大學(xué)和 Adobe Research 的研究人員組織了一個(gè)團(tuán)隊(duì)，創(chuàng)建了一種 AI 算法，給定任意文本就能隨便改變一段視頻里人物說(shuō)的話(huà)，并且改動(dòng)后看不出篡改痕跡。
▲改變文字后生成新視頻
結(jié)語(yǔ)：Deepfake 提升視頻生產(chǎn)效率
在 Deepfake 技術(shù)的發(fā)展下，電影制作商不僅可以降低電影譯制成本，還可以在演員念錯(cuò)臺(tái)詞時(shí)進(jìn)行補(bǔ)救，從整體上提升電影生產(chǎn)效率。
誕生于 2017 年的 Deepfake 雖近年來(lái)飽受非議，但隨著相關(guān)監(jiān)管的嚴(yán)格以及技術(shù)人員素養(yǎng)的提升，Deepfake 商用場(chǎng)景不斷拓展，逐漸在內(nèi)容生產(chǎn)領(lǐng)域顯現(xiàn)出自己的潛力。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。