如今，每隔一段時間就有新的文本生成圖像模型釋出，個個效果都很強大，每每驚艷眾人，這個領(lǐng)域已經(jīng)是卷上天了。
不過，像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系統(tǒng)，都只能生成二維圖像，如果文字也能變成三維場景，那帶來視覺體驗勢必加倍提升。
現(xiàn)在，來自蘋果的 AI 團隊推出了 3D 場景生成的最新神經(jīng)架構(gòu) —— GAUDI。
它可以捕捉復雜和逼真的 3D 場景分布，從移動攝像機中進行沉浸式渲染，還能根據(jù)文本提示來創(chuàng)建 3D 場景！該模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大師 。
論文地址：點此查看
基于 NeRFs 的 3D 渲染
神經(jīng)渲染（nerual rendering）將計算機圖形學與人工智能結(jié)合起來，已經(jīng)產(chǎn)生了很多從 2D 圖像生成 3D 模型的系統(tǒng)。比如最近 Nvidia 開發(fā)的 3D MoMa 可以在一個小時內(nèi)從不到 100 張的照片中創(chuàng)建出 3D 模型。谷歌也依靠神經(jīng)輻射場（NeRFs ）在谷歌地圖中將 2D 衛(wèi)星和街景圖像組合成 3D 場景，實現(xiàn)了沉浸式視圖。谷歌的 HumanNeRF 還可以從視頻中渲染出 3D 人體。
目前，NeRFs 主要還是用作 3D 模型和 3D 場景的一種神經(jīng)存儲介質(zhì)，可以從不同的相機視角進行渲染。NeRFs 也已經(jīng)開始被用于虛擬現(xiàn)實體驗。
那么，NeRFs 這種從不同攝像機角度逼真地渲染圖像的強大能力，能不能用于生成式 AI 呢？當然可以，已經(jīng)有研究團隊嘗試了 3D 場景的生成，如谷歌在去年首次推出了 AI 系統(tǒng) Dream Fields，它將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評估圖像內(nèi)容的能力相結(jié)合，最終實現(xiàn)了能夠生成匹配文本描述的 NeRF。
▲ 谷歌 Dream Fields
但是，谷歌的 Dream Fields 只能生成針對單個對象的 3D 視圖，要將它擴展到完全不受約束的 3D 場景還存在很多困難。最大的難點就在于攝像機的位置有很大的限制，對于單個對象，每個可能的、合理的攝像機位置都可以映射到一個圓頂，但在 3D 場景中，攝像機的位置會受到對象和墻壁等障礙物的限制。如果在場景生成時不考慮這些因素，那就很難生成 3D 場景。
3D 渲染專家 GAUDI
對于上述攝像機位置受限的問題，蘋果的 GAUDI 模型拿出了三個專門的網(wǎng)絡(luò)來輕松搞定：
GAUDI 有一個相機姿態(tài)解碼器，它將攝像機姿態(tài)與場景的 3D 幾何和外觀分離開來，可以預測攝像機的可能位置，并確保輸出是 3D 場景架構(gòu)的有效位置。
▲ 解碼器模型架構(gòu)
針對場景的場景解碼器則可以預測三維平面的表示，這種表示是一種 3D 畫布。
然后，輻射場解碼器會在這塊畫布上使用體積渲染方程來繪制后續(xù)的圖像。
GAUDI 的 3D 生成包含兩個階段：
一是潛在和網(wǎng)絡(luò)參數(shù)的優(yōu)化：學習對數(shù)千條軌跡的 3D 輻射場和相應相機姿態(tài)進行編碼的潛在表示。與針對單個對象不同，有效相機姿態(tài)隨著場景的變化而不同，所以需要對每個場景有效的相機姿態(tài)進行編碼。
二是使用擴散模型在潛在表示上學習生成模型，從而能夠在有條件和無條件的推理任務(wù)中都能很好地建模。前者是根據(jù)文本或圖像提示來生成 3D 場景，后者則是根據(jù)攝像機軌跡來生成 3D 場景。
通過 3D 室內(nèi)場景，GAUDI 可以生成新的攝像機運動。如在下面一些示例中，文本描述包含有關(guān)場景和導航路徑的信息。這里研究團隊采用了預先訓練的基于 RoBERTa 的文本編碼器，并使用其中間表示來調(diào)節(jié)擴散模型，生成效果如下：
▼ 文本提示：走進廚房
▼ 文本提示：上樓
▼ 文本提示：穿過走廊
另外，使用預訓練的 ResNet-18 作為圖像編碼器，GAUDI 能夠?qū)碾S機視點觀察給定圖像的輻射場進行采樣，從而從圖像提示中創(chuàng)建 3D 場景。
▼ 圖像提示
▼ 生成 3D 場景
▼ 圖像提示
▼ 生成 3D 場景
研究人員在四個不同的數(shù)據(jù)集（包括室內(nèi)掃描數(shù)據(jù)集 ARKitScences）上進行了實驗，結(jié)果表明，GAUDI 可以重建學習視圖，而且可以與現(xiàn)有方法的質(zhì)量相匹配。即使是在為數(shù)千個室內(nèi)場景制作具有數(shù)十萬張圖像的 3D 場景的龐大任務(wù)中，GAUDI 也不會出現(xiàn)模式崩潰或方向問題。
GAUDI 的出現(xiàn)不僅會對許多計算機視覺任務(wù)上產(chǎn)生影響，而且其 3D 場景的生成能力也將有利于基于模型的強化學習和規(guī)劃、SLAM 以及 3D 內(nèi)容的制作等研究領(lǐng)域。
就目前來看，GAUDI 生成的視頻質(zhì)量還不算高，可以看出有很多偽影。不過，這個系統(tǒng)或許可以為蘋果正在進行的渲染 3D 對象和場景的 AI 系統(tǒng)，這是一個好的開始和基礎(chǔ)，據(jù)說 GAUDI 還將被應用到蘋果的 XR 耳機中，用于生成數(shù)字化位置?？梢云诖幌聗
參考鏈接：
https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321
https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。