IT之家 12 月 20 日消息，以 ChatGPT 等為代表的大型語(yǔ)言模型（LLMs）在過(guò)去幾年中越來(lái)越擅長(zhǎng)處理和生成人類(lèi)語(yǔ)言，但這些模型在多大程度上模擬了人類(lèi)大腦支持語(yǔ)言處理的神經(jīng)過(guò)程，還有待進(jìn)一步闡明。
據(jù) Tech Xplore 18 日?qǐng)?bào)道，哥倫比亞大學(xué)和費(fèi)因斯坦醫(yī)學(xué)研究所的研究團(tuán)隊(duì)近期進(jìn)行了一項(xiàng)研究，探索了 LLM 與大腦神經(jīng)反應(yīng)的相似性。研究表明，隨著 LLM 技術(shù)的進(jìn)步，這些模型不僅在性能上有所提升，而且結(jié)構(gòu)上也越來(lái)越接近人類(lèi)大腦。
論文的第一作者加文?米施勒（Gavin Mischler）在接受 Tech Xplore 采訪(fǎng)時(shí)表示：“我們撰寫(xiě)這篇論文的靈感來(lái)源于近年來(lái) LLM 和神經(jīng) AI 研究的迅速發(fā)展?！?/p>
“幾年前，有幾篇文章顯示，GPT-2 的詞嵌入與人腦對(duì)語(yǔ)言的神經(jīng)反應(yīng)有一定相似性，但在人工智能這一飛速發(fā)展的領(lǐng)域中，GPT-2 如今已經(jīng)過(guò)時(shí)，算不上最強(qiáng)大。”
“自從 ChatGPT 發(fā)布后，涌現(xiàn)了許多更強(qiáng)大的模型，但關(guān)于這些新模型是否仍然表現(xiàn)出相同的大腦相似性，相關(guān)研究卻并不多?！?/p>
米施勒及其團(tuán)隊(duì)的主要目標(biāo)，是探究最新一代的 LLM 是否依然表現(xiàn)出與人類(lèi)大腦相似的特征。研究人員對(duì) 12 個(gè)不同的開(kāi)源 LLM 進(jìn)行了分析，這些模型在架構(gòu)和參數(shù)數(shù)量上幾乎一致。同時(shí)，他們也通過(guò)在神經(jīng)外科患者的腦部植入電極記錄其聽(tīng)到語(yǔ)言時(shí)的大腦反應(yīng)。
米施勒解釋道：“我們還將同樣的演講文本輸入 LLM，并提取其詞嵌入，這些嵌入是模型內(nèi)部用來(lái)處理和編碼文本的表示。為了衡量這些 LLM 與大腦的相似性，我們嘗試通過(guò)預(yù)測(cè)大腦對(duì)詞語(yǔ)反應(yīng)的神經(jīng)活動(dòng)來(lái)評(píng)估它們的對(duì)應(yīng)性。通過(guò)這種方式，我們可以了解兩者的相似度。”
在數(shù)據(jù)收集后，研究人員利用計(jì)算工具分析 LLM 與大腦的對(duì)齊程度。他們特別關(guān)注哪些層次的 LLM 與大腦中與語(yǔ)言處理相關(guān)的區(qū)域最為匹配。大腦對(duì)語(yǔ)言的反應(yīng)已知會(huì)逐步通過(guò)對(duì)語(yǔ)音的聲學(xué)、語(yǔ)音學(xué)等成分的分析，建立語(yǔ)言的抽象表征。
米施勒表示：“我們發(fā)現(xiàn)，隨著 LLM 能力的提升，這些模型的詞嵌入與大腦對(duì)語(yǔ)言的反應(yīng)越來(lái)越接近。更出乎意料的是，隨著模型性能的提升，它們與大腦層次結(jié)構(gòu)的對(duì)齊程度也有所提高。這意味著，語(yǔ)言處理過(guò)程中大腦不同區(qū)域提取的信息，與性能較強(qiáng)的 LLM 的不同層次提取的信息對(duì)比，更加一致?！?/p>
這些研究結(jié)果表明，表現(xiàn)最好的 LLM 更能準(zhǔn)確反映大腦的語(yǔ)言處理反應(yīng)。而且，這些模型的優(yōu)秀表現(xiàn)可能與其早期層次的高效性有關(guān)。
有關(guān)研究結(jié)果已經(jīng)在《自然?機(jī)器智能》期刊上發(fā)表，IT之家附鏈接：點(diǎn)此前往
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。