端到端純視覺(jué):OpenAI 押注的人形機(jī)器人獻(xiàn)藝拜年了

量子位 2024/2/10 13:32:25 責(zé)編:問(wèn)舟

大過(guò)年的,OpenAI 投資的人形機(jī)器人,通過(guò)最新視頻拜年了(doge)。有倆人上來(lái)就表演了一個(gè)從貨架取包裹,轉(zhuǎn)身放進(jìn)筐里:

鏡頭繼續(xù)推進(jìn),旁邊靠墻的兩個(gè)機(jī)器人,在不停地將俄羅斯方塊積木舉起-丟下-再舉起。

另一邊,充好電的機(jī)器人,溫柔地拔掉插銷(xiāo),微微半蹲,把插頭放到指定位置。旁邊還來(lái)了個(gè)趕來(lái)充電的家伙:

一個(gè)小房間內(nèi),面帶笑容的機(jī)器人緩緩前進(jìn),然后流暢地?fù)炱鸬厣系墓?,放回了玩具筐?/p>

最后,鏡頭跟隨一個(gè)導(dǎo)游機(jī)器人,在場(chǎng)地里巡邏了一圈,剛才介紹到的機(jī)器人們還在各司其職,干自己的事情。

官方表示,這個(gè)視頻一、鏡、到、底 ——

機(jī)器人們發(fā)出的每一個(gè)動(dòng)作行為,都基于視覺(jué)神經(jīng)網(wǎng)絡(luò)端到端控制。并且視頻原本速度播放,無(wú)加速、無(wú)剪輯、無(wú)遠(yuǎn)程操控。

有網(wǎng)友對(duì)這樣擬人仿真效果挺滿(mǎn)意:

不會(huì)吧不會(huì)吧,你不會(huì)還在等有人拉開(kāi)機(jī)器人背后的拉鏈,然后摘下頭盔,走下平衡車(chē)吧!

想知道這是怎么做到的?

官方“啪”地摔出了一份資料,把原理透露了一波。

來(lái)吧,展示

為了讓自家人形機(jī)器人被充分開(kāi)發(fā)利用,背后公司 ——1X Technologies(簡(jiǎn)稱(chēng) 1X),從去年起開(kāi)始追求最通用的方法,即使用視覺(jué)神經(jīng)網(wǎng)絡(luò),讓機(jī)器人端到端地學(xué)習(xí)運(yùn)動(dòng)行為

官方釋出視頻中,每一個(gè)機(jī)器人的行為,都由 10Hz 頻率的視覺(jué)神經(jīng)網(wǎng)絡(luò)控制。

它主要控制機(jī)器人們的前進(jìn)、手臂、軀干和頭部。

該視頻不包含遠(yuǎn)程操作,沒(méi)有計(jì)算機(jī)圖形,沒(méi)有剪輯,沒(méi)有視頻加速,沒(méi)有腳本軌跡回放。

這一切都是通過(guò)神經(jīng)網(wǎng)絡(luò)控制的,都是自主的。

據(jù)介紹,有 30 臺(tái)機(jī)器人出演了這次展示視頻(目前,全公司共有 50 臺(tái)該型號(hào)機(jī)器人)

為了訓(xùn)練生成視頻中展示行為的機(jī)器學(xué)習(xí)模型,1X 團(tuán)隊(duì)在這 30 臺(tái)機(jī)器人中組裝了一個(gè)高質(zhì)量、多樣化的演示數(shù)據(jù)集

這些數(shù)據(jù)被用來(lái)訓(xùn)練出一個(gè)基礎(chǔ)模型,這個(gè)模型可以理解廣泛的身體行為,比如清潔整理房屋、拾撿物品、和人類(lèi) or 其他機(jī)器人社交。

然后,團(tuán)隊(duì)對(duì)基礎(chǔ)模型進(jìn)行微調(diào),讓它成為更具體的功能系列,比如用于一般門(mén)操作的模型、用于倉(cāng)庫(kù)任務(wù)的模型。

再然后,再微調(diào)已經(jīng)微調(diào)過(guò)的模型,讓它生成的行為和特定任務(wù)(如打開(kāi)特定的某道門(mén))保持一致。

這樣的訓(xùn)練方式,讓團(tuán)隊(duì)能夠在臺(tái)式機(jī)的 GPU 上進(jìn)行幾分鐘的數(shù)據(jù)收集和培訓(xùn),從而讓模型掌握新技能。

更重要的是,這樣的方式,讓機(jī)器人不受 AI 工程師數(shù)量的限制,就能學(xué)會(huì)短期移動(dòng)操作技能。

本次展示出場(chǎng)的機(jī)器人是 1X 公司的初代產(chǎn)品,名叫 EVE(夏娃),專(zhuān)為工作環(huán)境設(shè)計(jì),主要用于工業(yè)、物流、零售和安全領(lǐng)域。

EVE 從頭到腿是人形,然后用雙輪替代人類(lèi)的雙腳。

它高 1.86 米,重 86 公斤,最高時(shí)速 14.4 公里,承載能力 15 公斤,續(xù)航 6 小時(shí)。

雖然沒(méi)有直接喊話(huà)過(guò),但由于設(shè)計(jì)和業(yè)務(wù)高度重合,EVE 被業(yè)內(nèi)默認(rèn)為對(duì)標(biāo)馬斯克的特斯拉機(jī)器人 Optimus。

去年 5 月,F(xiàn)irstpost 消息顯示,EVE 在一場(chǎng)人形機(jī)器人比賽中,擊敗了 Optimus。

1X 首席執(zhí)行官兼創(chuàng)始人 Bernt Bornich 表示,目前,EVE 已經(jīng)上崗打工,在歐美部分地區(qū)投入商業(yè)化應(yīng)用,至少兩個(gè)工業(yè)場(chǎng)所都部署了 EVE 來(lái)負(fù)責(zé)保安工作。

今年年初,1X 還在挪威首都奧斯陸的一個(gè)火車(chē)站出現(xiàn),給往來(lái)旅客倒咖啡。

網(wǎng)友們倒是挺認(rèn)可 EVE 的靈活程度:

但也有人提出了一些尚待解決和思考的問(wèn)題:

一是穩(wěn)定性,二是通用性,三是需要龐大的數(shù)據(jù)來(lái)訓(xùn)練。

背后公司是誰(shuí)?

EVE 背后的是一家挪威公司 1X,成立于 2014 年,前身為 Halodi Robotics。該公司專(zhuān)注于創(chuàng)造能夠進(jìn)行類(lèi)似人類(lèi)運(yùn)動(dòng)和行為的人型機(jī)器人,并在實(shí)際場(chǎng)景中部署。

特別提一下,1X 的現(xiàn)任產(chǎn)品負(fù)責(zé)人是 Eric Jang。Eric Jang 畢業(yè)于布朗大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè),畢業(yè)后在 Google X 工作了 6 年,擔(dān)任機(jī)器人高級(jí)研究科學(xué)家。2022 年 4 月,Eric 加入了 1X,領(lǐng)導(dǎo) AI 部門(mén)。

2022 年起,1X 就和 OpenAI 在機(jī)器人 AI 模型方面有所合作;目前,EVE 的部分功能就由 ChatGPT 提供支持。

到了去年 3 月,1X 正式有了 OpenAI“撐腰”—— 獲得由 OpenAI 創(chuàng)業(yè)基金領(lǐng)投的 2350 萬(wàn)美元融資,投后估值約為 1-2 億美金。這也是 OpenAI 投資的第一家硬件公司。

OpenAI 的 COO Brad Lightcap 曾公開(kāi)坦白:“投資 1X 瞄準(zhǔn)的時(shí)機(jī)是其機(jī)器人硬件已經(jīng)成熟,能夠在 AI 的加持下,開(kāi)拓更廣泛的勞動(dòng)力市場(chǎng)。”

不過(guò) Eric Jang 也發(fā)話(huà)了,1X 沒(méi)有和 OpenAI 獨(dú)家綁定。

我們還在測(cè)試別家的大模型,然后自己也在做一些動(dòng)作和任務(wù)的小模型。

去年公布 2 輪融資的 1X,很快又在上個(gè)月,官宣完成了 1 億美元的 B 輪融資。

這筆錢(qián)不僅用來(lái)擴(kuò)大具身智能的數(shù)據(jù)收集戰(zhàn)略,另一個(gè)去處是加強(qiáng) NEO 機(jī)器人的市場(chǎng)推廣。

沒(méi)錯(cuò)!除了 EVE,1X 還在加班加點(diǎn)研制第二代機(jī)器人 NEO(取用了《黑客帝國(guó)》主角的名字)。

和 EVE 的輪式人形不同,NEO 是純?人形機(jī)器人,雙腳上有 55 個(gè)自由度,可以自由行走。

有腿之后,NEO 可以說(shuō)是完全按人類(lèi)的外形和運(yùn)動(dòng)方式設(shè)計(jì):

有頭、身體、手臂和腿,會(huì)走路、抓東西,并通過(guò)面部表情溝通。

同時(shí)它采用了高扭矩關(guān)節(jié),與傳統(tǒng)的高性能齒輪動(dòng)力相比,在控制、兼容、力量輸出、韌性、維護(hù)等方面全面得到增強(qiáng)。

目前,NEO 還處于研發(fā)階段,但官網(wǎng)宣稱(chēng)該型號(hào)已經(jīng)可以自然準(zhǔn)確地穿門(mén)、爬樓梯。

1X 官方說(shuō)法是,計(jì)劃在今年正式發(fā)布 NEO,并進(jìn)行量產(chǎn)。

不知道有了雙腳的 1X 人形機(jī)器人,還能不能對(duì)馬斯克的 Optimus 遙遙領(lǐng)先?

等待看戲.jpg

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:機(jī)器人,openai,人工智能

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知