矩陣世界是 AI 精心設(shè)計的模擬世界！普林斯頓用 Infinigen 這把鑰匙，打開矩陣大門，AI 生成的大自然比真實世界還真！
尼奧在「黑客帝國」中發(fā)現(xiàn)自己生活的世界并非真實存在，而是被精心設(shè)計的模擬現(xiàn)實。
而你，有沒有那么一瞬間，認為我們生活的世界，就是模擬的矩陣世界。
而現(xiàn)在，矩陣正式開啟。
靜心感受，這個人類生存已久的地球，大自然的一切，都是虛幻世界。
北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。
高山飛雪，老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠，兇險的蛇自由穿梭。
河邊小樹，燃起熊熊烈火，煙霧繚繞。
清澈見底的大海和小溪，海龜在沙灘慵懶地曬著太陽，許多蜻蜓在空中嬉戲。
巖洞中光與影的變幻。
嘩嘩墜落的雨滴、隨風(fēng)飄落的楓葉，時間瞬間戛然而止。
你所見皆是人工智能設(shè)計的。它們的模擬是如此逼真，甚至被所有人誤認為是現(xiàn)實本身。
打開這扇矩陣大門的團隊來自普林斯頓，研究一出瞬間在網(wǎng)上瞬間引起軒然大波。
網(wǎng)友紛紛表示，原來我們生活在矩陣中！
論文中，研究人員引入了一個自然世界的逼真 3D 場景程序生成器「Infinigen」。
Infinigen 完全是程序化的，從形狀到紋理，都是通過隨機的數(shù)學(xué)規(guī)則從頭開始生成。
甚至，還能變換無窮，覆蓋了大自然界的植物、動物、地形，還有火、云、雨和雪等自然現(xiàn)象。
最新論文已被 CVPR 2023 接收。
論文地址：https://arxiv.org/ pdf / 2306.09310.pdf
Infinigen 建立在免費和開源的圖形工具 Blender 上，同樣 Infinigen 也是開源的。
值得一提的是，3.5 個小時就能生成一對 1080p 的圖像！
無限 CV 數(shù)據(jù)生成器
普林斯頓大學(xué)提出的 Infinigen 可以輕松定制，生成各種特定任務(wù)的真實情況。
如下，模擬大自然界中的多樣性。
而它最主要的作用就在于，能夠作為作為無限訓(xùn)練數(shù)據(jù)的生成器，用于廣泛的計算機視覺任務(wù)。
其中，包括 目標檢測、語義分割、姿態(tài)估計、3D 重建、視圖合成和視頻生成。
此外，它還可以用于構(gòu)建訓(xùn)練物理機器人，以及虛擬具身智能體的模擬環(huán)境。
當然了，3D 打印、游戲開發(fā)、虛擬現(xiàn)實、電影制作和一般的內(nèi)容創(chuàng)作都可用。
接下來，看看 Infinigen 系統(tǒng)是如何被設(shè)計出來的。
Blender 的預(yù)演。
研究人員主要使用 Blender 開發(fā)程序化規(guī)則，Blender 是一個開源的三維建模軟件，提供各種基元和實用工具。
Blender 將場景表現(xiàn)為擺放對象的層次結(jié)構(gòu)。
而用戶通過轉(zhuǎn)換對象、添加基元和編輯網(wǎng)格來修改這一表示。
Blender 提供了大多數(shù)常見 3D 文件格式的導(dǎo)入 / 導(dǎo)出。
最后，Blender 中的所有操作都可以通過其 Python API 自動完成，或者通過檢查其開源代碼。
節(jié)點轉(zhuǎn)譯器。
作為 Infinigen 的一部分，研究人員開發(fā)了一套新的工具來加速研究人員的程序化建模。
一個值得注意的例子是研究人員的節(jié)點轉(zhuǎn)換器，它可以自動將節(jié)點圖轉(zhuǎn)換為 Python 代碼，如圖所示。
由此產(chǎn)生的代碼更加通用，并允許研究人員隨機化圖形結(jié)構(gòu)，而不僅僅是輸入?yún)?shù)。
這個工具使結(jié)點圖更具表現(xiàn)力，并允許與其他直接用 Python 或 C++ 開發(fā)的程序化規(guī)則輕松整合。
它還允許非程序員通過制作節(jié)點圖為 Infinigen 貢獻 Python 代碼。
生成器子系統(tǒng)。Infinigen 是由生成器組成的，生成器是概率程序，每個程序都專門用于生成一個子類的資產(chǎn)（如山或魚）。
每個發(fā)生器都有一套高級參數(shù)（如山的整體高度），反映了用戶可控制的外部自由度。
在默認情況下，研究人員根據(jù)為反映自然界而調(diào)整的分布對這些參數(shù)進行隨機抽樣，沒有用戶的輸入。
然而，用戶也可以使用研究人員的 Python API 覆蓋任何參數(shù)，以實現(xiàn)對數(shù)據(jù)生成的細粒度控制。
下圖是隨機的、且僅包含地形的場景。研究人員為各種自然場景類型選擇了 13 張圖片。
分別為：山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。
下圖則是隨機生成的模擬火焰的圖片，包括煙霧、瀑布，以及火山噴發(fā)的場景。
樹葉、鮮花、蘑菇、松果。
樹木、仙人掌、灌木。
海洋生物。
各種類型的地表。
下圖則是生物的生成。
研究人員自動生成了不同基因組（a）、身體部位（b）、身體部位拼接（c）、毛發(fā)（d）和體態(tài)（e）。
圖片右側(cè)則是研究人員展示的隨機生成的食肉動物、食草動物、鳥類、甲蟲和魚類。
在下圖中，研究人員按程序組成一個隨機的場景布局（a）。
研究者生成所有必要的圖片內(nèi)容（b，用來顯示每個網(wǎng)格面的顏色），并應(yīng)用程序化材料和位移（c）。
最后再渲染一個真實的圖像（d）。
下圖展示的是動態(tài)分辨率縮放。
研究人員展示了三個相機距離不同，但內(nèi)容相同的特寫網(wǎng)格可視化視圖。
盡管網(wǎng)格分辨率不同，但在最終的圖像中看不到任何變化。
實驗結(jié)果
為了對 Infinigen 進行評估，研究人員制作了 30K 的圖像對，這些圖像有用于矯正立體匹配的地面實景。
研究人員在這些圖像上開始訓(xùn)練 RAFTStereo，并在 Middlebury 驗證集和測試集上對結(jié)果進行了比較。
這項研究代碼在今天剛剛公布，已經(jīng)收攬 99 顆星。
「西部世界」既視感
英偉達科學(xué)家 Jim Fan 表示，當我們在現(xiàn)實中沒有好的訓(xùn)練數(shù)據(jù)時，模擬是便下一個「金礦」。
這里，Infinigen 便是一個開源的、程序化生成的、用于 3D 視覺的逼真數(shù)據(jù)集。其質(zhì)量是驚人的！沒有兩個世界是相同的。
? 每一個小細節(jié)都是隨機和可定制的，甚至是花瓣上的褶皺！
? 自然界的各種物體和場景：植物、動物、地形；火、云、雨和雪。
? 基準真實值自動注釋：光流、三維場景流、深度、表面法向量、全景分割、封閉邊界。
? 用 Blender 編寫。
有網(wǎng)友表示，這真是讓我大開眼界。在 Blender 中程序化生成 3D 世界。不使用 AI，就可以創(chuàng)建任何你能想象的世界。
結(jié)合像這樣的工具來創(chuàng)造世界，像 Daz3D 這樣的工具來創(chuàng)造角色，Blockade Labs 來創(chuàng)造天空盒，Convai 來創(chuàng)造 NPC。
還有人表示 Infinigen 將在人工智能計算機視覺研究中發(fā)揮作用。
他認為未來人工智能將 handle 所有一切。
比如，我們想在一個有霧的森林里面做一個有瀑布的村莊。
我們告訴一個人工智能寫一個關(guān)于森林的詳細描述，再發(fā)送到 3D 世界生成器。
世界生成后，就可以在村莊里添加人物角色。這些人將由人工智能控制，他們將有互動、對話和記憶。
一種西部世界的趕腳。
另外，有網(wǎng)友稱程序生成已經(jīng)存在了 20 年（我已經(jīng)做了 15 年）?！窷o Man's SKy」是 5 年前技術(shù)的一個很好的例子。
Infinigen 的亮點在于它生成標記數(shù)據(jù)。這些數(shù)據(jù)可用于訓(xùn)練 AI。這就很瘋狂。
還有網(wǎng)友暢想，在不遠的將來，游戲會變得瘋狂……「獨立」游戲開發(fā)者將能夠推出一些瘋狂的高端內(nèi)容。
Infinigen 生成太過逼真，以至于有人認為這是虛幻引擎生成的。
作者介紹
Alexander Raistrick
Alexander Raistrick 是普林斯頓大學(xué)計算機系的二年級博士生，導(dǎo)師是 Jia Deng。
Lahav Lipson
Lahav Lipson 是普林斯頓大學(xué)三年級博士生。
他研究重點是為三維視覺構(gòu)建深度網(wǎng)絡(luò)，利用關(guān)于極線幾何的強大假設(shè)來實現(xiàn)更好的泛化和測試準確性。
Zeyu Ma
Zeyu Ma 是普林斯頓大學(xué)視覺與學(xué)習(xí)實驗室的三年級博士研究生。他曾于 2020 年獲得清華大學(xué)電子工程學(xué)士學(xué)位。目前的研究重點是多視圖 3D 重建和程序數(shù)據(jù)生成。
參考資料：
https://infinigen.org/
https://twitter.com/DrJimFan/status/1670098819026128897
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。