端到端進入 Next Level 了?
特斯拉帶火了端到端,行業(yè)爭先轉(zhuǎn)向,拋棄規(guī)則驅(qū)動,擁抱數(shù)據(jù)驅(qū)動。
甚至有人直呼,數(shù)據(jù)驅(qū)動的端到端,就是自動駕駛的終局。
然而就在最近,由當(dāng)年特斯拉 Autopilot 骨干創(chuàng)辦的 Nullmax,公開提出了一種新的范式:
智能驅(qū)動。
將腦科學(xué)與自動駕駛結(jié)合,嘗試探索端到端的下一個階段。
這一方向也正在吸引知名主機廠和供應(yīng)商,投入研究,比如理想和地平線。
現(xiàn)在的局勢,玄之又玄的端到端,變得更加妙不可言了。
端到端進入 Next Level 了?
Nullmax 近日推出了最新技術(shù)方案:Nullmax Intelligence (以下簡稱 NI),基于端到端的架構(gòu),采用了多模態(tài)大模型和安全類腦。
首先來看,多模態(tài)大模型,參數(shù)量十億級別。
作為源流特斯拉的初創(chuàng)企業(yè),Nullmax 同樣是純視覺的信徒,方案沒有使用激光雷達。
但其 NI 模型輸入的又不止是視覺信息,還包括了聲音,文本等。
輸出端則包括駕駛動作,可視化結(jié)果以及場景描述。
模型輸出結(jié)果后,Nullmax 還會用兩級仲裁機制,評判自車是否會與其他交通參與者發(fā)生碰撞。
一級仲裁是行業(yè)的常見手段,在此基礎(chǔ)上,Nullmax 還引入二級仲裁“安全類腦”。
所謂“安全類腦”,是一個參數(shù)十萬量級的神經(jīng)網(wǎng)絡(luò),規(guī)模對應(yīng)斑馬魚的神經(jīng)元數(shù)。
斑馬魚就是腦科學(xué)界的“小白鼠”,大腦結(jié)構(gòu)和人腦高度相似,而且可透視,用熒光分子進行處理后,能觀測到神經(jīng)元活動和魚運動之間的關(guān)系,相關(guān)成果《Internal state dynamics shape brainwide activity and foraging behaviour》已在《Nature》發(fā)表。
共同第一作者李孟博士,是哈佛大學(xué)的博士后研究員,現(xiàn)在巖思類腦研究院任職。
Nullmax 正是和其合作,將腦科學(xué)與自動駕駛結(jié)合。
在行業(yè)變革之際,理想和地平線也正和 Nullmax 一道,嘗試探索這一全新領(lǐng)域。
理想聯(lián)合清華大學(xué),正嘗試將人類的快慢思考,融入自動駕駛,形成系統(tǒng) 1 和系統(tǒng) 2。
地平線智駕方案 Super Drive 的決策規(guī)劃核心“交互式博弈算法”,讓車子仿佛擁有了一顆“大腦”,背后的思維動因也是人的“慢思考”。
不過 Nullmax 的“類腦”模型,是直接參考斑馬魚腦結(jié)構(gòu)設(shè)計,與兩家的靈感來源不同,因此 Nullmax 在數(shù)據(jù)驅(qū)動的端到端基礎(chǔ)上,提出“智能驅(qū)動”。
邁向新階段,“智能驅(qū)動”也存在著數(shù)據(jù)和訓(xùn)練兩大瓶頸。
Nullmax 認為,高質(zhì)量的數(shù)據(jù)仍然很關(guān)鍵。但是高質(zhì)量的數(shù)據(jù),可遇不可求,因此 Nullmax 建立了數(shù)據(jù)平臺,既包括了真實采集的數(shù)據(jù),也有視頻生成的虛擬數(shù)據(jù),兩者結(jié)合加快算法迭代。
高質(zhì)量的數(shù)據(jù)之外,還有一個瓶頸就是訓(xùn)練。
包括如何去輸入數(shù)據(jù),按照什么樣的順序,以及 debug 模型和調(diào)參。
以上就是 Nullmax 上層技術(shù)的最新進展,將在明年初落地。
支持 Nullmax 商業(yè)化落地的關(guān)鍵技術(shù),是其自研中間件平臺:
不挑車,不挑芯片,不挑攝像頭。
Nullmax 的商業(yè)化落地
Nullmax 的商業(yè)化落地,目前主要依托 1 個平臺和 3 個產(chǎn)品方案。
1 個平臺,即中間件平臺 MaxOS,其將多模態(tài)輸入 token 化,解耦軟件算法、域控和芯片,盡可能地抽象軟件層,支持不同算力平臺,適配任意傳感器,比如車企定制的攝像頭,甚至能適應(yīng)不同位置。
MaxOS 為 Nullmax 適配不同車型、不同硬件配置,從而落地產(chǎn)品提供了可能。
目前其產(chǎn)品根據(jù)算力需求和實現(xiàn)能力,可分為以下三種:
1V2T,一個攝像頭,加上一顆德州儀器的 2TOPS 算力芯片,實現(xiàn)基礎(chǔ)的 L2 級輔助駕駛。
5V/6V8T,5/6 個攝像頭,利用 8TOPS 算力,實現(xiàn)高速 NOA 和記憶泊車,且泊車過程可檢測障礙物。
11V,實現(xiàn) L2+,包括高速 NOA 和自主代客泊車。
Nullmax 介紹稱,未來智能驅(qū)動的方案,將以小于 100TOPS 的稀疏算力,實現(xiàn)全場景 NOA。
總結(jié) Nullmax 的商業(yè)化落地,展現(xiàn)出了兩大特點:
高靈活度和高性價比。
Nullmax 為什么會選擇打造這樣的產(chǎn)品?
Nullmax 認為,行業(yè)利用不同算力規(guī)模的芯片,形成了各種各樣的方案,但還沒有一家做出能夠適配不同芯片,覆蓋 2TOPS-2000TOPS 算力區(qū)間的方案。
市場一片空白,這就是 Nullmax 的機會,也是產(chǎn)品具有高靈活度的原因。
另一方面,盡管行業(yè)目前高階智駕卷的很熱鬧,但熱鬧都是少部分人的,只有高端車型才能享有高階智駕,而更廣闊的性價比車型,也存在著高階智駕的需求,因此,Nullmax 做出了一套高性價比的方案。
高靈活度和高性價比的方案,已為 Nullmax 贏得了多家知名合作伙伴,包括頭部主機廠比亞迪、奇瑞、上汽和福特等,以及知名 Tier 1 大陸和德賽西威等。
創(chuàng)立八年,Nullmax 從硅谷出發(fā),是如何一步步打通商業(yè)模式,贏得伙伴信任的?
Nullmax 的創(chuàng)立與發(fā)展
Nullmax 創(chuàng)始人、CEO 兼 CTO 徐雷,本科畢業(yè)于中國科學(xué)技術(shù)大學(xué)計算機科學(xué)專業(yè),后在美國紐約州立大學(xué)法羅分校獲得計算機科學(xué)博士學(xué)位。
畢業(yè)后,徐雷曾在高通工作過三年,后加盟特斯拉,成為特斯拉 Autopilot 團隊核心成員,工作直接匯報給馬斯克。
在特斯拉期間,徐雷從零開始領(lǐng)導(dǎo)搭建 Tesla Vision 深度學(xué)習(xí)網(wǎng)絡(luò),并用其成功取代了第一代產(chǎn)品中 Mobleye 的視覺系統(tǒng),后來 Model X 搭載的方案,就是徐雷領(lǐng)導(dǎo)研發(fā)的。
2016 年,徐雷離開特斯拉,與特斯拉供應(yīng)鏈及產(chǎn)品高級經(jīng)理同事,在硅谷聯(lián)合成立了 Nullmax,是國內(nèi)最早獲得加州自動駕駛路測牌照的公司之一。
2017 年初,Nullmax 研發(fā)中心落地上海。
兩年后,Nullmax 很快發(fā)布了 L3 級自動駕駛方案,Max 1.0,可實現(xiàn)高速代駕和自主泊車,直接開上了上海中環(huán)。
不過就在此次發(fā)布會后,Nullmax 罕有對外發(fā)聲,直到四年以后。
2023 年冬,當(dāng) Nullmax 再度回歸到聚光燈下時,已經(jīng)實現(xiàn)產(chǎn)品交付上車,并且獲得了 7.8 億元的新融資,累計吸金超 10.66 億元。
成立八年,起于硅谷,興于上海的 Nullmax,在沉寂中悄然壯大,跑通了商業(yè)模式。
并且技術(shù)方面,持續(xù)探索,在行業(yè)爭相轉(zhuǎn)向之際,再次召開技術(shù)發(fā)布會發(fā)聲,提出了新的范式。
不是簡單的去用模型取代原有的規(guī)則模塊,而是進行了一些有意思的探索,比如將多模態(tài)大模型上車,腦科學(xué)引入自動駕駛。
在發(fā)布會后,徐雷也發(fā)出感慨,“只有不斷地探索,不可能一下子找到最優(yōu)解?!?/p>
探索的道路上,行業(yè)競爭不可避免。
誰是給行業(yè)造成競爭壓力最大的玩家?
毫無疑問,正是徐雷曾在硅谷給他打工過的那個男人。
面對競爭,在談到如何看待特斯拉的 FSD 入華時,徐雷做了很有意思的類比,展現(xiàn)了灑脫與期待:
高水平的比賽,才能培養(yǎng)出高水平的球員。
引進高水平的方案,行業(yè)才會變得更強。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。