說出來你可能不信，有一只 AI 剛剛被證明，處理語音的方式跟大腦謎之相似。甚至在結(jié)構(gòu)上都能相互對(duì)應(yīng) —— 科學(xué)家們?cè)?AI 身上直接定位出了“視覺皮層”。
這項(xiàng)來自 Meta AI 等機(jī)構(gòu)的研究一經(jīng) po 出，立馬在社交媒體上炸開了鍋。一大波神經(jīng)科學(xué)家和 AI 研究者前往圍觀。
LeCun 稱贊這是“出色的工作”：自監(jiān)督 Transformer 分層活動(dòng)與人類聽覺皮層活動(dòng)之間，確實(shí)密切相關(guān)。
還有網(wǎng)友趁機(jī)調(diào)侃：Sorry 馬庫斯，但 AGI 真的快要來了。
不過，研究也引發(fā)了一些學(xué)者的好奇。例如麥吉爾大學(xué)神經(jīng)科學(xué)博士 Patrick Mineault 提出疑問：
我們發(fā)表在 NeurIPS 的一篇論文中，也嘗試過將 fMRI 數(shù)據(jù)和模型聯(lián)系起來，但當(dāng)時(shí)并不覺得這倆有啥關(guān)系。
所以，這到底是一項(xiàng)怎樣的研究，它又是如何得出“這只 AI 干起活來像大腦”的結(jié)論的？
AI 學(xué)會(huì)像人腦一樣工作
簡(jiǎn)單來說，在這項(xiàng)研究中，研究人員聚焦語音處理問題，將自監(jiān)督模型 Wav2Vec 2.0 同 412 名志愿者的大腦活動(dòng)進(jìn)行了比較。
這 412 名志愿者中，有 351 人說英語，28 人說法語，33 人說中文。研究人員給他們聽了大約 1 個(gè)小時(shí)的有聲書，并在此過程中用 fMRI 對(duì)他們的大腦活動(dòng)進(jìn)行了記錄。
模型這邊，研究人員則用超過 600 小時(shí)的無標(biāo)簽語音來訓(xùn)練 Wav2Vec 2.0。對(duì)應(yīng)志愿者的母語，模型也分為英語、法語、中文三款，另外還有一款是用非語音聲學(xué)場(chǎng)景數(shù)據(jù)集訓(xùn)練的。
而后這些模型也聽了聽志愿者同款有聲書。研究人員從中提取出了模型的激活。相關(guān)性的評(píng)價(jià)標(biāo)準(zhǔn)，遵照這個(gè)公式：
其中，X 為模型激活，Y 為人類大腦活動(dòng)，W 為標(biāo)準(zhǔn)編碼模型。
從結(jié)果來看，自監(jiān)督學(xué)習(xí)確實(shí)讓 Wav2Vec 2.0 產(chǎn)生了類似大腦的語音表征。
從上圖中可以看到，在初級(jí)和次級(jí)聽覺皮層，AI 明顯預(yù)測(cè)到了幾乎所有皮層區(qū)域的大腦活動(dòng)。研究人員還進(jìn)一步發(fā)現(xiàn)了 AI 的“聽覺皮層”、“前額葉皮層”到底長(zhǎng)在哪一層。
圖中顯示，聽覺皮層與 Transformer 的第一層（藍(lán)色）最吻合，而前額葉皮層則與 Transformer 的最深一層（紅色）最吻合。此外，研究人員量化分析了人類感知母語和非母語音素的能力差異，并與 Wav2Vec 2.0 模型進(jìn)行對(duì)比。
他們發(fā)現(xiàn)，AI 也像人類一樣，對(duì)“母語”有更強(qiáng)的辨別能力，比如，法語模型就比英語模型更容易感知來自法語的刺激。
上述結(jié)果證明了，600 小時(shí)的自監(jiān)督學(xué)習(xí)，就足以讓 Wav2Vec 2.0 學(xué)習(xí)到語言的特定表征 —— 這與嬰兒在學(xué)說話的過程中接觸到的“數(shù)據(jù)量”相當(dāng)。
要知道，之前 DeepSpeech2 論文認(rèn)為，至少需要 10000 小時(shí)的語音數(shù)據(jù)（還得是標(biāo)記的那種），才能構(gòu)建一套不錯(cuò)的語音轉(zhuǎn)文字（STT）系統(tǒng)。
再次引發(fā)神經(jīng)科學(xué)和 AI 界討論
對(duì)于這項(xiàng)研究，有學(xué)者認(rèn)為，它確實(shí)做出了一些新突破。例如，來自谷歌大腦的 Jesse Engel 稱，這項(xiàng)研究將可視化濾波器提升到了一個(gè)新的層次?，F(xiàn)在，不僅能看到它們?cè)凇跋袼乜臻g”里長(zhǎng)啥樣，連它們?cè)凇邦惸X空間”中的模樣也能模擬出來了：
又例如，前 MILA 和谷歌研究員 Joseph Viviano 認(rèn)為，這個(gè)研究還證明了 fMRI 中的靜息態(tài)（resting-state）成像數(shù)據(jù)是有意義的。
但在一片討論中，也出現(xiàn)了一些質(zhì)疑的聲音。例如，神經(jīng)科學(xué)博士 Patrick Mineault 除了指出自己做過相似研究但沒得出結(jié)論外，也給出了自己的一些質(zhì)疑。
他認(rèn)為，這篇研究并沒有真正證明它測(cè)量的是“語音處理”的過程。相比于人說話的速度，fMRI 測(cè)量信號(hào)的速度其實(shí)非常慢，因此貿(mào)然得出“Wav2vec 2.0 學(xué)習(xí)到了大腦的行為”的結(jié)論是不科學(xué)的。
當(dāng)然，Patrick Mineault 表示自己并非否認(rèn)研究的觀點(diǎn)，他自己也是“作者的粉絲之一”，但這項(xiàng)研究應(yīng)該給出一些更有說服力的數(shù)據(jù)。
此外也有網(wǎng)友認(rèn)為，Wav2vec 和人類大腦的輸入也不盡相同，一個(gè)是經(jīng)過處理后的波形，但另一個(gè)則是原始波形。
對(duì)此，作者之一、Meta AI 研究員 Jean-Rémi King 總結(jié)：
模擬人類水平的智能，確實(shí)還有很長(zhǎng)的路要走。但至少現(xiàn)在來看，我們或許走在了一條正確的道路上。
你認(rèn)為呢？
論文地址：
https://arxiv.org/abs/2206.01685
參考鏈接：
[1]https://twitter.com/patrickmineault/status/1533888345683767297
[2]https://twitter.com/JeanRemiKing/status/1533720262344073218
[3]https://www.reddit.com/r/singularity/comments/v6bqx8/toward_a_realistic_model_of_speech_processing_in/
[4]https://twitter.com/ylecun/status/1533792866232934400
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。