剛剛，OpenAI 重金押注的人形機器人初創(chuàng) 1X 終于揭秘了背后的「世界模型」—— 它能夠根據(jù)真實數(shù)據(jù)，生成針對不同場景的中的行為預測！機器人領域的 ChatGPT 時刻，或許真的要來了。
月初，OpenAI 投下重注人形機器人初創(chuàng) 1X，終于放出了 NEO 官宣視頻。它的首次現(xiàn)身，就驚艷到所有人。
不僅外觀上，被戲稱為「穿著西裝的人」，而且在能力上，幫女主拎包、一起下廚，妥妥的一個通用家庭機器人。
它專為人類設計，去完成我們不愿意做的各種家庭任務，比如清潔、整理等等。
時隔半個月，1X 終于發(fā)布了 NEO 背后的「世界模型」。
有了這個虛擬世界模擬器，NEO 可以預測有用的物體交互。簡而言之，它們完全可以生成，各種環(huán)境中的視頻畫面。
比如，疊一件 T 恤、拉開窗簾這類可變性物體，家里隨處可見，但卻很難將其放入虛擬世界模擬器中。
有趣的是，1X AI 副總裁 Eric Jang 稱，他們在辦公室專門放了一個全身鏡，這樣「模型」可以在鏡子中，認出自己。NEO 現(xiàn)在有了自我反思的能力，不過，自我意識還沒覺醒。
通過理解世界，并與之交互，1X「世界模型」可以生成高保真視頻，并在神經(jīng)網(wǎng)絡中，重新規(guī)劃、模擬和評估。
這也是世界模型，之于機器人的重要性。1X 創(chuàng)始人兼 CEO Bernt Bornich 表示，首次證明了人形機器人數(shù)據(jù)，正顯著地推進 Scaling Law。
谷歌 DeepMind 機器人高級研究員 Ted Xiao 表示，1X 的「學習型」世界模型能夠隨著驚艷、物理交互數(shù)據(jù)不斷改進。
- 世界模型很可能是在多智能體環(huán)境中，實現(xiàn)可重復和可擴展評估的唯一前進的方向。（參加自動駕駛中世界模型評估成功案例）
- 基于 2024 年 AI 技術，比基于去年的技術更容易構建世界模型。
- 一旦世界模型足以用于評估，它們很可能已經(jīng)至少完成了 90% 的訓練工作。
機器人「世界模型」來了！
直白講，世界模型就是一種計算機程序。它能夠想象出，世界如何隨著智能體的行為而演變。
基于視頻生成和自動駕駛汽車世界模型研究，1X 由此訓練出自家的世界模型，作為 NEO 的虛擬模擬器。
從相同的起始圖像序列出發(fā)，1X 世界模型可以根據(jù)不同機器人的動作，預測多種可能的未來場景。
那么，具身機器人的存在，最重要的是能夠與物理世界交互。而在萬千繁雜的世界中，如何有效交互就成為了難題。
世界模型，能夠幫助 NEO 完成精準地交互，比如剛體、物體掉落的效果、不完全可見物體（杯子）、可變形物體（窗簾、衣物）、鉸接物體（門、抽屜、椅子）。
它能夠將餐盤放入瀝水架子中。
它還可以拉開窗簾。
從抽屜拿出東西等等。
具身機器人難題 —— 評估
另外，世界模型解決了構建通用機器人時，一個非常實際但常被忽視的挑戰(zhàn)：評估。
假設訓練機器人執(zhí)行 1000 個獨特的任務，那么很難判斷一個新模型是否真的在所有任務上，都比之前的模型有所改進。
更令人困擾的是，即便模型權重相同，但由于環(huán)境背景或環(huán)境光線的細微變化，性能可能在短短幾天內(nèi)下降。
研究人員訓練了一個機器人疊 T 恤的模型，性能在 50 天內(nèi)逐漸下降。
而且，如果環(huán)境不斷持續(xù)變化，實驗的可重復性便成為難題。
尤其是，在家庭、辦公室這樣的環(huán)境中，去評估多任務系統(tǒng)，這一問題就會變得更加棘手。
基于這些因素，使得在真實世界中，開啟嚴謹?shù)臋C器人研究變得異常困難。
當 scaling 數(shù)據(jù)、算力、模型規(guī)模時，AI 系統(tǒng)能力將如何擴展的問題，可以通過精準測量進行預測。
Scaling Law 已經(jīng)成為 ChatGPT 這樣的通用 AI 系統(tǒng)，性能提升的有力支撐。
因此，如果機器人領域想要迎來屬于自己的「ChatGPT 時刻」，必須首先建立起它的「Scaling Law」。
從原生數(shù)據(jù)中學習，預測未來場景
基于物理模擬的引擎，諸如 Bullet、Mujoco、Isaac Sim、Drake，已成為快速測試機器人策略的合理方法。而且，這些模擬器可以重置、重復使用，進而研究人員能夠仔細比較不同控制算法。
然而，這些模擬器主要是為「剛體動力學」設計的，并且需要大量人工數(shù)據(jù)收集。那么，如何讓模擬機器人打開一盒咖啡濾紙、用刀切水果、擰開一罐果醬，或與人類、其他 AI 智能體互動呢？
家庭環(huán)境中，常見的日常物品、寵物很難模擬，訓練機器人極度缺少真實世界的用例。因此，在有限數(shù)量任務中，對機器人進行小規(guī)模真實 / 模擬評估，并不能準確預測其在真實世界中的表現(xiàn)。
也就是說，這樣訓練出的機器人，很難具備真實世界「通用泛化」能力。
1X 研究團隊采取了全新的方法，來評估通過機器人：
直接從原生傳感器數(shù)據(jù)中學習模擬，并利用它在數(shù)百萬情境中，評估機器人策略。
這種「世界模型」方法的優(yōu)勢在于，可以一鍵獲得真實世界所有復雜數(shù)據(jù)，而無需手動創(chuàng)建資產(chǎn)。
過去一年里，1X 團隊收集了超 5000 小時 EVE 人形機器人數(shù)據(jù)。
這些數(shù)據(jù)包括，機器人在家庭和辦公室環(huán)境中，執(zhí)行各種移動操作任務，以及與人互動的場景。
然后，他們將視頻和動作數(shù)據(jù)結合，訓出一個世界模型。
這個模型非常強大，不僅能夠根據(jù)所觀察到的情況，執(zhí)行動作，還能生成視頻，預測未來的場景畫面。
動作可控，「腦補」彈空氣吉他
1X 世界模型能夠根據(jù)不同的動作指令，生成多樣化的輸出。
如下圖所示，展示了基于四種不同動作序列，生成的各種結果。這些動作序列，都是從相同的初始畫面幀開始。
與之前一樣，這些所展示的示例，都不包含在訓練數(shù)據(jù)中。
世界模型的主要價值在于，能夠模擬物體之間的交互。
在接下來的模擬生成中，研究人員為模型提供相同的初始場景，并設置了三組不同的抓取盒子的動作。
在每個模擬場景中，被抓取的盒子，會隨機械手運動而被提起和移動，而其他未被抓取盒子紋絲不動，保持原位。
即便沒有給出具體的動作指令，世界模型也能生成看起來合情合理的視頻。
比如說，它能自己在前行時，避開行人和障礙物，這種行為是很符合常理的。
模擬疊 T 恤，長期任務也在行
此外，1X 還可以生成長視頻。
正如開頭所展示的例子，NEO 模擬了一個完整的 T 恤折疊演示。
值得一提的是，T 恤等可變形物體，往往在「剛體模擬器」中難以實現(xiàn)。
當前存在的問題
不過，1X 的世界模型同樣存在一些問題。
物體一致性
比如，模型在與物體交互的過程中，可能無法保持物體的形狀的和顏色一致性。
尤其是當物體被遮擋，或者以不理想角度呈現(xiàn)時，世界模型在生成視頻過程中，物體外觀可能會出現(xiàn)變形。
有時，物體甚至完全消失不見。
比如，在執(zhí)行拿起紅色小球并放置在盤子上這一動作時，球在過程中莫名其妙地就消失了。
物理學定律
而且，它也不懂物理世界中的基本定律。
有時候，NEO 能夠對物理屬性有自然的理解，比如松開機械手之后，勺子會掉落到桌子上。
但在很多情況下，生成的結果并沒有遵循物理法則，比如下面這個，盤子就直接懸在了空中。
這說明，世界模型并不理解所有物體，都受到豎直向下的重力作用。
自我認知
另外，研究人員讓 AI 機器人 EVE 走到鏡子前，觀察其是否會生成與鏡子中的相對應的行為。
沒想到，它在抬起另一只手臂時，鏡子中沒有同步。
可見，現(xiàn)在 1X 模型沒有自我意識的表現(xiàn)。
參考資料：
https://x.com/ericjang11/status/1836096888178987455
https://x.com/1x_tech/status/1836094175630200978
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。