輸入一段臺詞，讓照片“演戲”又進階了！
這次的 AI 直接讓“演技”整體上了一個臺階，表演生氣、開心、可憐…… 各種情緒都不在話下。
并且，口型、眼神、頭部動作也都讓這個 AI 狠狠拿捏住了！
甚至還能調(diào)節(jié)喜怒哀樂的程度。
這是英偉達最新推出的一款 AI，名為 SPACEx （此 SPACEx 非馬斯克的 SpaceX），全稱是可控表達的語音驅(qū)動肖像動畫（Speech-driven Portrait Animation with Controllable Expression）。
其實，在英偉達推出 SPACEx 之前，已經(jīng)有不少語音驅(qū)動照片的 AI 問世，那相較于之前那些 AI，SPACEx 有什么優(yōu)勢呢？
人臉動作更穩(wěn)定，更注重細節(jié)
此前，最常使用的語音驅(qū)動照片的 AI 主要有三個：PC-AVS、MakeItTalk 和 Wav2Lip。
但這三個 AI 都或多或少有些缺陷之處，并且要么只能對口型，要么就只是整體面部控制的比較好，多個功能往往不能兼顧。
先來說說 PC-AVS，它在對圖像和語音進行處理時，會對輸入圖像進行嚴格的剪裁，甚至還會改變姿勢，此外，生成的人臉動作很不穩(wěn)定。
而 MakeItTalk，在對口型方面效果不是很好，有時候生成的視頻中還會出現(xiàn)空白的地方。
Wav2Lip 的功能則比較單一，它主要是配音 AI，只改變唇部的動作，唇部之外的面部表情毫無變化。
而這些問題，在 SPACEx 身上通通都被解決掉了，話不多說，直接看看它們之間的效果對比！
可以看出，無論是細節(jié)的口型、眼神，還是整體的面部動作，SPACEx 都會更加自然一些。
而細分到各個具體的功能，SPACEx 都集成了哪些功能呢？
下面這個表格給出了答案，情緒控制、標記面部 landmark、頭部轉(zhuǎn)動和動作生成，SPACEx 都能很好地兼顧，不會像以往的模型顧此失彼。
值得注意的是，SPACEx 生成視頻的質(zhì)量也整體上升了一個臺階，以往同類型的 AI 最高只能達到 384 的分辨率，而 SPACEx 這次已經(jīng)達到了 512X512。
兼顧這么多功能還能生成高質(zhì)量視頻，SPACEx 又是怎樣做到的呢？
具體原理
其中，很大一部分功勞是 face-vid2vid 貢獻的，它是英偉達兩年前公布的一個 AI 算法。
它不僅能壓縮視頻的流量，還能保證視頻的畫質(zhì)。
并且，face-vid2vid 還能讓視頻中的人物隨意扭頭。
不過它要求輸入的是一個視頻，而 SPACEx 則是一個圖片，它倆又是怎么關(guān)聯(lián)到一起的？
這得從 SPACEx 生成視頻的過程來看，主要分三個階段。
第一個階段可以概括為 Speech2Landmarks，即從輸入的語音中來預(yù)測各個音節(jié)所對應(yīng)的標準面部 landmarks。
在預(yù)測的過程中，還會插入對應(yīng)的情緒標簽。
預(yù)測好面部 landmarks 后，來到第二步：Landmarks2Latents，輸入各個圖像的 face-vid2vid 關(guān)鍵點，以控制整個面部表情。
然后將這些關(guān)鍵點對應(yīng)到上一步輸出的標準面部 landmarks 上。
最后一步便能通過 face-vid2vid 生成器來生成視頻了。
話說回來，當然 SPACEx 也不是個全能選手，當輸入有較大的頭部旋轉(zhuǎn)時，現(xiàn)有的方法表現(xiàn)就不是很好了。
不過還是值得一試的，感興趣可以戳下文鏈接～
論文地址：
https://arxiv.org/pdf/2211.09809.pdf
參考鏈接：
https://deepimagination.cc/SPACEx/
本文來自微信公眾號：量子位 （ID：QbitAI），作者：Pine
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。