英偉達(dá)最新大動(dòng)作來(lái)了 —— 通用具身智能體。
這則消息是由英偉達(dá)高級(jí)科學(xué)家 Jim Fan 透露，他表示：
我將和老隊(duì)友 Yuke Zhu 一起，在英偉達(dá)內(nèi)部組建一個(gè)新研究小組 ——GEAR，通用具身智能體研究。
我們相信，在未來(lái)，每一臺(tái)移動(dòng)的機(jī)器都將是自主的，機(jī)器人和模擬智能體將像 iPhone 一樣無(wú)處不在。
我們正在構(gòu)建基礎(chǔ)智能體：一個(gè)具有通用能力的 AI，可以在許多虛擬和現(xiàn)實(shí)的世界中學(xué)習(xí)如何熟練地行動(dòng)。
Jim Fan 還強(qiáng)調(diào)，2024 年將是屬于機(jī)器人、游戲 AI 和模擬的一年。
而隨著這兩天英偉達(dá)市值暴漲，Jim Fan 還補(bǔ)充了一條 X 說(shuō)道：
我們有足夠的資金一次性解決機(jī)器人基礎(chǔ)模型、游戲基礎(chǔ)模型和生成式模擬。
我們團(tuán)隊(duì)可能是全球最有錢的具身智能實(shí)驗(yàn)室。
嗯，有錢，很壕。
相關(guān)成果展示
Jim Fan 在發(fā)布這條職業(yè)履新消息之際，也順帶把英偉達(dá)此前在具身智能所做的相關(guān)工作盤點(diǎn)了一波。
例如被評(píng)為“2023 年英偉達(dá)十大項(xiàng)目”之一的 Eureka——
用 GPT-4 生成獎(jiǎng)勵(lì)函數(shù)，教會(huì)機(jī)器人完成了三十多個(gè)復(fù)雜任務(wù)：比如，快速轉(zhuǎn)個(gè)筆，打開抽屜和柜子、拋球和接球。
使用 GPU 加速的物理模擬進(jìn)行訓(xùn)練，速度比實(shí)時(shí)快 1000 倍！
再如 Voyager，把 GPT-4 放進(jìn)《我的世界》——
在游戲中點(diǎn)亮科技樹的速度是此前方法的 15.3 倍，同時(shí)獲得的獨(dú)特物品是此前的 3.3 倍，探索范圍是 2.3 倍。
更關(guān)鍵的是，Voyager 完全借助游戲畫面推理，一切操作與反饋通過(guò)文本和游戲的 Javascript API 進(jìn)行。
它也是第一個(gè) LLM 驅(qū)動(dòng)、能熟練玩《我的世界》的智能體。
除此之外，還包括斬獲了 NeurIPS 2022 最佳論文的 MineDojo。
這項(xiàng)研究提出一個(gè)由 3 個(gè)智能體組成的“具身 GPT-3”，可以感知無(wú)限世界并在其中行動(dòng)。
MineDojo 是一個(gè)將《我的世界》變成 AGI 研究游樂(lè)場(chǎng)的開放框架。
團(tuán)隊(duì)收集了 100000 個(gè) YouTube 視頻、Wiki 頁(yè)面和 Reddit 帖子，用于訓(xùn)練《我的世界》智能體。
還有像 VIMA 這樣的研究：第一個(gè)帶有機(jī)械臂的多模態(tài) LLM，為機(jī)器人學(xué)習(xí)引入了“多模態(tài)提示”。
更多相關(guān)成果盤點(diǎn)，可以戳文末鏈接。
被黃仁勛帶火的具身智能
其實(shí) Jim Fan 領(lǐng)隊(duì)搞通用具身智能體并不是非常意外的一件事情。
早在去年，黃仁勛便公開表達(dá)他對(duì)下一代人工智能的觀點(diǎn)：
這種新型的人工智能叫作具身智能（Embodied AI），即能理解、推理和與物理世界互動(dòng)的智能系統(tǒng)。
而從去年至今，無(wú)論是高校還是產(chǎn)業(yè)，具身智能相關(guān)的研究可謂是層出不窮。
最為典型的便是斯坦福大學(xué)的家務(wù)機(jī)器人，驚呆了一眾網(wǎng)友。
那么 Jim Fan 團(tuán)隊(duì)將在今年再帶來(lái)什么成果，是值得期待一波了。
參考鏈接：
[1]https://twitter.com/DrJimFan/status/1761052023821369639
[2]https://research.nvidia.com/labs/gear/
[3]https://twitter.com/DrJimFan/status/1761099207920992688
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：金磊
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。