現(xiàn)在一句口令，就能指揮汽車了。比如說聲“我開會(huì)要遲到了”“我不想讓我朋友等太久”等等，車就能理解，并且自動(dòng)加速起來。
如果這次行程有不滿意的，只需要給汽車提供反饋建議：“要在充分保障安全的前提下”，汽車的自動(dòng)駕駛行為就會(huì)在下次行程中進(jìn)行自我修正。
這是來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室最新研究 —— 讓大語言模型部署在自動(dòng)駕駛實(shí)車上，在多個(gè)交通場景，比如停車場、十字路口和高速上理解乘客的各種個(gè)性化指令，構(gòu)建他們的數(shù)字孿生。
最終在眾多大模型的實(shí)驗(yàn)中，GPT-4 脫穎而出。
基于 LLM 的自動(dòng)駕駛系統(tǒng)
而這背后的實(shí)現(xiàn)，主要來自一個(gè)框架 Talk2Drive。
這個(gè)框架主要有三個(gè)特點(diǎn)：
1、它將人類口頭命令轉(zhuǎn)換為文本指令，然后由云端的大模型來處理。在此過程中會(huì)用到一些語音識(shí)別的開源 API，比如 Whisper，準(zhǔn)確捕獲口令并翻譯成文本。云上的大模型結(jié)合天氣、交通狀況和當(dāng)?shù)亟煌ㄒ?guī)則等信息，生成上下文駕駛數(shù)據(jù)。
2、大模型生成特定的自動(dòng)駕駛代碼，隨后發(fā)送回車輛的電子控制單元（ECU）并在其中執(zhí)行。
代碼執(zhí)行涉及調(diào)整基本駕駛行為以及車輛規(guī)劃和控制系統(tǒng)中的各種參數(shù)。
隨后，車輛的執(zhí)行器通過 CAN 總線和線控系統(tǒng)控制油門、剎車、檔位選擇和轉(zhuǎn)向。
3、車輛的存儲(chǔ)模塊秉承”千人千面“的理念，記錄著所有人車交互數(shù)據(jù)，確保每次行駛體驗(yàn)都是基于乘客的歷史偏好和實(shí)時(shí)命令進(jìn)行定制，實(shí)現(xiàn)真正意義上的數(shù)字孿生個(gè)性體驗(yàn)。
經(jīng)過一眾大模型對比，他們最終選擇 GPT-4，因?yàn)樗难舆t相對較小，以及推理能力更強(qiáng)。
在 Talk2Drive 系統(tǒng)中，三類不同駕乘偏好的乘客以口頭化的指令表達(dá)與大模型進(jìn)行交互，以促使系統(tǒng)做出相應(yīng)調(diào)整。當(dāng)乘客對調(diào)整后的自動(dòng)駕駛行為不滿意時(shí)會(huì)關(guān)閉自動(dòng)駕駛模式，系統(tǒng)也會(huì)記錄這種情況下的 “接管”。
結(jié)果顯示，無論駕乘偏好如何，Talk2Drive 都能顯著降低接管率。
這輛全副武裝的自動(dòng)駕駛車和大語言模型 API 協(xié)作完成了這次研究。
來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室
這項(xiàng)研究來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室。
從研究團(tuán)隊(duì)來看，大部分都是華人面孔。其中一作 Can Cui 目前是普渡大學(xué)一年級(jí)博士生。在加入普渡大學(xué)工程學(xué)院之前，在密歇根大學(xué)獲得了電氣與計(jì)算機(jī)工程碩士學(xué)位。本科畢業(yè)于武漢理工大學(xué)。
其導(dǎo)師王子然博士，在 2022 年加入普渡大學(xué)之前，曾在豐田硅谷研發(fā)中心任職四年，以主任研究員的身份領(lǐng)銜數(shù)字孿生的相關(guān)研究。
據(jù)介紹，普渡數(shù)字孿生實(shí)驗(yàn)室從 2023 年 6 月開始深耕大語言模型和自動(dòng)駕駛交叉領(lǐng)域，進(jìn)行了包括文獻(xiàn)綜述、創(chuàng)立公開數(shù)據(jù)集、仿真環(huán)境測試、以及主辦研討會(huì)等一系列工作。
論文鏈接：
https://arxiv.org/abs/2312.09397
項(xiàng)目網(wǎng)站：
https://purduedigitaltwin.github.io/llm4ad
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：白交
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。