誒？這是《老友記》流出未公開鏡頭了？還是“子彈時(shí)間”特效那種？
只見人物定格的一瞬，機(jī)位絲滑運(yùn)動(dòng)，一個(gè)多角度全方位的廚房出現(xiàn)在了眼前，仿佛我人就站在現(xiàn)場啊。要知道，在正片里其實(shí)只有這兩幅畫面：
沒錯(cuò)，又是 AI 在搞“魔法”。在看了《老友記》之后，AI 能直接還原出宛如真實(shí)現(xiàn)場的 3D 場景，補(bǔ)足兩個(gè)切換畫面之間人物在不同角度時(shí)的姿態(tài)。沒拍過的角度畫面，它都能重建出來。
還能把一個(gè)近景鏡頭，變成大遠(yuǎn)景。
乍一眼看去，真的很難分辨出生成效果其實(shí)是完全捏造的?！耙院箅娨晞⊙a(bǔ)拍鏡頭都省了？”這就是由 UC 伯克利大學(xué)研究人員提出的重建 3D 人物和環(huán)境的新方法。
網(wǎng)友看后腦洞大開：
可能不出 10 年，你就能把自己的 VR 形象放到自己喜歡的節(jié)目里了。
目前，該方法已被 ECCV 2022 接收。
專門針對電視劇場景重建
研究人員表示，這次提出的新方法就是專門針對電視劇場景的。除了《老友記》外，他們還 3D 重建了《生活大爆炸》等 7 個(gè)電視劇的場景。
要知道，使用單個(gè)視頻來重建 3D 場景的難度其實(shí)還很高，但是電視劇中往往是同一場景拍下了多個(gè)畫面，這為 AI 學(xué)習(xí)提供了非常豐富的圖像資料。
本文方法能夠在整季劇集中自動(dòng)運(yùn)行，計(jì)算出各個(gè)鏡頭的攝像機(jī)位置信息、靜態(tài)三維場景結(jié)構(gòu)和人物身體信息，然后將他們整合計(jì)算成一個(gè) 3D 場景來。
具體來看，該方法主要分為處理場景信息人物信息兩方面。場景上，基于不同畫面，該方法通過 SfM（Structure-from-Motion）來估計(jì)出拍攝時(shí)攝像機(jī)的位置。這種方法是指在只有單個(gè)攝像機(jī)的情況下，通過分析攝像機(jī)移動(dòng)時(shí)拍到的場景來確定 3D 場景信息。
然后通過分析攝像機(jī)與人物之間的位置關(guān)系，以此確定出人物所在的區(qū)域，然后將兩個(gè)不同角度的畫面整合分析，進(jìn)行三角定位，以此確定人物的真正位置。
之后，利用 NeRF 來重建出細(xì)致的 3D 場景信息。神經(jīng)渲染輻射場可以將場景的體積表示優(yōu)化為向量函數(shù)，該函數(shù)由位置和視圖方向組成的連續(xù) 5D 坐標(biāo)定義。也就是沿著相機(jī)射線采樣 5D 坐標(biāo)，以此合成圖像。
接下來，就是處理場景中人物信息方面。針對多鏡頭情況下，在確定好人物所在位置后，使用 NeRF 就能直接重建出人體 3D 信息。
而如果是單鏡頭情況，就需要利用上下幀畫面中人體姿勢的變化、攝像機(jī)位置和環(huán)境結(jié)構(gòu)信息來進(jìn)行重建。
從實(shí)驗(yàn)結(jié)果中可以看到，該方法最終可以綜合得到的 3D 信息，重新渲染出一個(gè)新的畫面。
在消融實(shí)驗(yàn)中，如果沒有確定攝像機(jī)、人物的特征信息，最終得到的結(jié)果也都不盡如人意。
并且，研究人員還對得到的場景進(jìn)行了數(shù)據(jù)分析，包括相機(jī)距離、人物位置分布。還提供了編輯選項(xiàng)，可以刪除或插入選定對象。
目前，該團(tuán)隊(duì)已將代碼和論文數(shù)據(jù)開源。研究團(tuán)隊(duì)來自 UC 伯克利大學(xué)人工智能研究實(shí)驗(yàn)室。作者表示，本文方法在電影、體育節(jié)目等領(lǐng)域同樣適用。
論文地址：
https://arxiv.org/abs/2207.14279
GitHub 地址：
https://github.com/ethanweber/sitcoms3D
項(xiàng)目主頁：
https://ethanweber.me/sitcoms3D/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。