只需 1 張普通照片，就能合成全角度動態(tài) 3D 視頻。
眨個眼、動動嘴，都是小 case~
最近 AIGC 爆火，3D 人像模型生成這邊也沒閑著。
如 StyleNerf、StyleSDF、EG3D 等方法相繼出世。
但到目前為止，這種生成模型都還停留在單幀人像上。
最近，來自新加坡國立大學(xué)（NUS）和字節(jié)跳動的研究人員，在靜態(tài) 3D 模型的基礎(chǔ)上，提出了首個 3D 人像視頻生成模型：PV3D（3D model for Portrait Video generation）。
PV3D 的訓(xùn)練繼承了 3D GAN 模型的優(yōu)點，即無需動態(tài)的三維數(shù)據(jù)監(jiān)督，只需要在足夠數(shù)量的單視角 2D 視頻數(shù)據(jù)上進(jìn)行訓(xùn)練。
該生成框架將人像和動作進(jìn)行解耦，基于視頻的時間戳生成各自的三維表征，讓視頻可以從任意角度進(jìn)行渲染。
長視頻也能挑戰(zhàn)：
3D 動態(tài)人像生成
PV3D 分別從獨立的高斯分布中采樣隨機噪聲來表征外表和運動，外表噪聲生成視頻的主體內(nèi)容，控制人像的 ID 以及人臉的各個部分，運動噪聲配合視頻幀的時間戳控制當(dāng)前幀的動作。
為了確保生成內(nèi)容的真實性以及外表和運動的解耦，PV3D 訓(xùn)練兩個獨立的判別器分別判定外表和運動的合理性。
該方法可以生成隨機的人像視頻以及相應(yīng)的高質(zhì)量的動態(tài)幾何表面，讓視頻可以從任意角度進(jìn)行渲染。
同時，該方法可以支持下游的應(yīng)用任務(wù)，比如靜態(tài)人像驅(qū)動，人像視頻的重建以及對人像動作的修改，所有的結(jié)果均可以保持高的多視角一致性。
主流的 3D GAN 模型都脫胎于 StyleGAN 結(jié)構(gòu)。
因此這些模型均會將采樣得到的噪聲先映射到一個高維度的中間隱式編碼 (intermidate latent code)，大量現(xiàn)有的研究表明這種結(jié)構(gòu)的隱式空間包含了豐富的語義信息，可以用來控制生成的圖像內(nèi)容。
因此，最直接的拓展方式就是使用預(yù)訓(xùn)練的單幀 3D GAN 模型，通過學(xué)習(xí)一個額外的在隱式空間進(jìn)行推理的時序模型對生成的內(nèi)容進(jìn)行合理的改變，從而生成 3D 人像視頻。
然而，該方法的缺點是圖片生成器和時序推理模型在不同的階段分別被優(yōu)化，導(dǎo)致最終的視頻很難保持時間上的一致性。
另一種主流的視頻生成模型使用稀疏訓(xùn)練的方式，在訓(xùn)練階段直接隨機生成視頻中的少量幀，使用少數(shù)幀的時間戳編碼運動信息，進(jìn)一步的改變中間隱式編碼從而一次性優(yōu)化完整的生成器。
然而這種做法將全部的時序信息都包含在隱式空間中，導(dǎo)致最終的模型多樣性較差、生成質(zhì)量較低。
與上述方法不同，PV3D 在原有 GAN 模型的基礎(chǔ)上在特定尺度的生成模塊中插入運動信息的編碼層，這些編碼層獨立地將控制運動的噪聲映射為隱式編碼，使用 modulated convolution 操縱外表特征，再將操縱后的特征與原始特征融合，從而提高生成視頻的時序一致性和運動多樣性。
此外，本工作還研究了以下問題：
如何有效地在視頻生成任務(wù)中利用渲染的視角先驗信息
針對 3D 視頻生成，如何設(shè)計合理的外表和運動判別器
PV3D 模型基于最新的靜態(tài) 3D GAN 模型 EG3D 進(jìn)行開發(fā)，EG3D 采用高效的 3D 表征 Tri-plane 實現(xiàn)圖像生成。
在訓(xùn)練階段，PV3D 采用稀疏訓(xùn)練的策略，對于一個視頻采樣兩個噪聲、兩個時間戳以及各自時刻對應(yīng)的相機視角。
相對應(yīng)的，模型生成兩幀對應(yīng)的 3D 表征進(jìn)行渲染得到粗糙的結(jié)果。隨后使用超分辨率模塊將圖片上采樣。
PV3D 設(shè)計了兩個獨立的判別器監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)，其中視頻判別器會編碼兩幀的相機視角以及時間間隔去判斷生成結(jié)果的合理性。
實驗部分
評價指標(biāo)
研究人員使用 FVD 來評估生成視頻的質(zhì)量。此外，為了評估多視角的一致性以及 3D 幾何結(jié)構(gòu)的質(zhì)量，研究人員將 3D GAN 工作中常用的評價指標(biāo) (生成人像的 ID 一致性、Chamfer 距離、多視角的重投影誤差) 拓展到視頻任務(wù)中。
與基線的對比
研究人員首先采用同期的 3D 視頻生成工作 3DVidGen 作為基線。此外，研究人員還基于 SOTA 的單幀 3D GAN (EG3D 和 StyleNerf) 和 2D 視頻生成模型構(gòu)建了三個基線模型。在 3 個公開數(shù)據(jù)集 (VoxCeleb, CelebV-HQ, TalkingHead-1KH) 上的實驗結(jié)果表明，PV3D 在生成視頻的多樣性，3D 幾何的質(zhì)量，以及多視角一致性上均超越基線模型。
消融實驗
研究人員對 PV3D 的各部分設(shè)計進(jìn)行了消融實驗，例如：運動信息的編碼和注入的位置，運動信息的插入方式，相機視角的采樣策略，以及視頻判別器的設(shè)計。
團(tuán)隊介紹
目前，該論文已被 ICLR 2023 接收。
作者團(tuán)隊由新加坡國立大學(xué) Show Lab 和字節(jié)跳動組成。
論文地址：
https://openreview.net/pdf?id=o3yygm3lnzS
項目主頁：
https://showlab.github.io/pv3d/
本文來自微信公眾號：量子位 （ID：QbitAI），作者：關(guān)注前沿科技
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。