11 月 8 日消息，三名谷歌研究人員在最新提交給預(yù)印本文獻(xiàn)庫（ArXiv）的一篇論文中指出，人工智能領(lǐng)域的底層技術(shù)深度神經(jīng)網(wǎng)絡(luò) transformer 并不擅長(zhǎng)歸納概括。
transformer 是 ChatGPT 等人工智能工具背后大語言模型的基礎(chǔ)。在 11 月 1 日提交給 ArXiv 的一篇新論文中，三名作者 Steve Yadlowsky、Lyric Doshi 和 Nilesh Tripuraneni 寫道：“當(dāng)任務(wù)或功能需要超出預(yù)訓(xùn)練數(shù)據(jù)的范圍時(shí)，transformer 出現(xiàn)了各種故障模式，發(fā)現(xiàn)即使是簡(jiǎn)單的任務(wù)外延也會(huì)降低它們的歸納能力?！?/p>
根據(jù)這篇論文的說法，深度神經(jīng)網(wǎng)絡(luò) transformer 所擅長(zhǎng)的是執(zhí)行與訓(xùn)練數(shù)據(jù)相關(guān)的任務(wù)，并不太擅長(zhǎng)處理超出這個(gè)范圍的任務(wù)。
對(duì)于那些希望實(shí)現(xiàn)通用人工智能（AGI）的人來說，這個(gè)問題不容忽視。通用人工智能是技術(shù)人員用來描述可以完成任何人類所做事情的假想人工智能。就目前而言，人工智能非常擅長(zhǎng)執(zhí)行特定任務(wù)，但不像人類那樣能跨領(lǐng)域轉(zhuǎn)移技能。
華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程榮譽(yù)教授佩德羅?多明戈斯（Pedro Domingos）表示，新研究意味著“在這一點(diǎn)上，我們不應(yīng)該對(duì)即將到來的人工智能過于瘋狂?！?/p>
人們將 AGI 吹捧為人工智能領(lǐng)域的終極目標(biāo)，從理論上講，其代表著人類創(chuàng)造出與自己一樣聰明或比自己更聰明的東西。許多投資者和技術(shù)人員都在為此投入大量時(shí)間和精力。
本周一，OpenAI 首席執(zhí)行官薩姆?奧爾特曼（Sam Altman）就與微軟首席執(zhí)行官薩蒂亞?納德拉（Satya Nadella）共同登臺(tái)，重申了他關(guān)于“合作打造 AGI”的愿景。
實(shí)現(xiàn)這一目標(biāo)意味著讓人工智能完成許多人類大腦可以完成的歸納性任務(wù)，包括適應(yīng)不熟悉的場(chǎng)景、創(chuàng)建類比、處理新信息以及抽象思維等等。
但是，正如研究人員指出的那樣，如果這項(xiàng)技術(shù)連“簡(jiǎn)單的任務(wù)外延”都難以實(shí)現(xiàn)，那么顯然我們離目標(biāo)還很遠(yuǎn)。
普林斯頓大學(xué)計(jì)算機(jī)科學(xué)教授阿爾溫德?納拉亞南（Arvind Narayanan）在社交媒體平臺(tái) X 上寫道：“這篇論文甚至與大語言模型無關(guān)，但似乎是打破集體信念泡沫的最后一根稻草，讓許多人接受了大語言模型的局限性?！薄霸撌乔逍训臅r(shí)候了”。
英偉達(dá)高級(jí)人工智能科學(xué)家 Jin Fan 質(zhì)疑為什么這篇論文的發(fā)現(xiàn)會(huì)讓人們感到驚訝，因?yàn)椤皌ransformer 本來就不是靈丹妙藥”。
多明戈斯表示，這項(xiàng)研究凸顯出，對(duì)于一項(xiàng)被吹捧為通向 AGI 之路的技術(shù)潛力，“很多人都感到非常困惑”。
他補(bǔ)充說：“這是篇?jiǎng)倓偘l(fā)表的論文，有趣的是誰會(huì)感到驚訝，誰不會(huì)感到驚訝。”
雖然多明戈斯承認(rèn) transformer 是一項(xiàng)先進(jìn)的技術(shù)，但他相信很多人認(rèn)為這種深度神經(jīng)網(wǎng)絡(luò)比實(shí)際要強(qiáng)大得多。
他說：“問題是神經(jīng)網(wǎng)絡(luò)非常不透明，而且這些大語言模型都是在難以想象的大量數(shù)據(jù)上訓(xùn)練的，這讓很多人對(duì)它們能做什么和不能做什么感到非常困惑?！薄八麄冮_始總認(rèn)為自己可以創(chuàng)造奇跡?！?/p>
更高級(jí)的人工智能可能會(huì)在歸納概括方面做得更好。谷歌研究人員在研究中使用的是 GPT-2 比例模型，而不是更主流的 GPT-4 比例模型。
人工智能初創(chuàng)企業(yè) Lamini AI 首席執(zhí)行官莎朗?周（Sharon Zhou）認(rèn)為，她自己并不覺得 transformer 很難歸納概括是個(gè)問題。
“這就是為什么我創(chuàng)辦了一家訓(xùn)練模型的公司，而不僅僅是向它們提問，這樣它們就能學(xué)到新東西，”她說。“它們?nèi)匀环浅Ｓ杏?，仍然可以引?dǎo)和調(diào)整。”
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。