有這樣一個(gè)模型，它可以做到一句話生成視頻：
不僅零樣本就能搞定，性能還直達(dá) SOTA。
它的名字，叫“NüWA”（女?huà)z）。
“女?huà)z女?huà)z，神通廣大”，正如其名，一句話生成視頻只是這個(gè)模型的技能之一。
除此之外，一句話生成圖片、草圖生成圖像、視頻，圖像補(bǔ)全，視頻預(yù)測(cè)，圖像編輯、視頻編輯，一共八種視覺(jué)任務(wù)，它其實(shí)全部都能搞定，完全是一位不折不扣的“全能型選手”。
這就是由微軟亞研院和北大聯(lián)合打造的一個(gè)多模態(tài)預(yù)訓(xùn)練模型，在首屆微軟峰會(huì)上亮相。
目前，在推特上已“小有熱度”。
八項(xiàng)全能“女?huà)z”，單拎出來(lái)也不差
所以這個(gè)全能型選手究竟表現(xiàn)如何？
直接與 SOTA 模型對(duì)比，來(lái)看看“她”在各項(xiàng)任務(wù)上的表現(xiàn)。
在文本生成圖像中，不得不說(shuō)，即使“女?huà)z”的 FID-0 得分不及 XMC-GAN，但在實(shí)際效果中，“女?huà)z”生成的圖肉眼可見(jiàn)的更好，清晰又逼真。
文本到視頻中，“女?huà)z”每一項(xiàng)指標(biāo)都獲得了第一名，從逐幀圖片來(lái)看，差距很明顯。
在視頻預(yù)測(cè)中，所有模型使用 64x64 的分辨率，Cond.代表供預(yù)測(cè)的幀數(shù)。
盡管只有 1 幀，“女?huà)z”也將 FVD 得分從 94±2 降到 86.9。
草圖轉(zhuǎn)圖像時(shí)，與 SOTA 模型相比，“女?huà)z”生成的卡車(chē)都更逼真。
而在零樣本的圖像補(bǔ)全任務(wù)中，“女?huà)z”擁有更豐富的“想象力”。
在零樣本的圖像編輯任務(wù)中，“女?huà)z”明顯比 SOTA 模型的“P 圖”能力更強(qiáng)。
并且，它的另一個(gè)優(yōu)勢(shì)是推理速度，幾乎 50 秒就可以生成一個(gè)圖像；而 Paint By Word 在推理過(guò)程中需要額外的訓(xùn)練，大約需要 300 秒才能收斂。
而草圖生成視頻以及文本引導(dǎo)的視頻編輯任務(wù)，是本次研究首次提出，目前還沒(méi)有可比對(duì)象。
直接上效果：
看，像上面這些僅用色塊勾勒輪廓的視頻草圖，經(jīng)“女?huà)z”之手就能生成相應(yīng)視頻。
而輸入一段潛水視頻，“女?huà)z”也能在文本指導(dǎo)下讓潛水員浮出水面、繼續(xù)下潛，甚至“游”到天上。
可以說(shuō)，“女?huà)z”不僅技能多，哪個(gè)單項(xiàng)拿出來(lái)也完全不賴(lài)。
如何實(shí)現(xiàn)？
這樣一個(gè)無(wú)論操作對(duì)象是圖像還是視頻，無(wú)論是合成新的、還是在已有素材上改造都能做到做好的“女?huà)z”，是如何被打造出來(lái)的呢？
其實(shí)不難，把文字、圖像、視頻分別看做一維、二維、三維數(shù)據(jù)，分別對(duì)應(yīng) 3 個(gè)以它們?yōu)檩斎氲木幋a器。
另外預(yù)訓(xùn)練好一個(gè)處理圖像與視頻數(shù)據(jù)的 3D 解碼器。
兩者配合就獲得了以上各種能力。
其中，對(duì)于圖像補(bǔ)全、視頻預(yù)測(cè)、圖像視頻編輯任務(wù)，輸入的部分圖像或視頻直接饋送給解碼器。
而編碼解碼器都是基于一個(gè) 3D Nearby 的自注意力機(jī)制（3DNA）建立的，該機(jī)制可以同時(shí)考慮空間和時(shí)間軸的上局部特性，定義如下：
W 表示可學(xué)習(xí)的權(quán)重，X 和 C 分別代表文本、圖像、視頻數(shù)據(jù)的 3D 表示：
其中，h 和 w 表示空間軸上的 token 數(shù)，s 表時(shí)間軸上的 token 數(shù)（文本默認(rèn)為 1），d 表示每個(gè) token 的維數(shù)。
如果 C=X，3DNA 表示對(duì)目標(biāo) X 的自注意；如果 C≠X，3DNA 表示對(duì)在條件 C 下目標(biāo) X 的交叉注意。
該機(jī)制不僅可以降低模型的計(jì)算復(fù)雜度，還能提高生成結(jié)果的質(zhì)量。
此外，模型還使用 VQ-GAN 替代 VQ-VAE 進(jìn)行視覺(jué) tokenization，這也讓生成效果好上加好。
團(tuán)隊(duì)介紹
一作 Chenfei Wu，北京郵電大學(xué)博士畢業(yè)，現(xiàn)工作于微軟亞研院。共同一作 Jian Liang，來(lái)自北京大學(xué)。
其余作者包括微軟亞研院的高級(jí)研究員 Lei Ji，首席研究員 Fan Yang，合作首席科學(xué)家 Daxin Jiang，以及北大副教授方躍堅(jiān)。通訊作者為微軟亞研院的高級(jí)研究員 & 研究經(jīng)理段楠。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。