人工智能邁出具備意識的一大步？研究發(fā)現(xiàn)與海馬體類似，AI 也能形成長期記憶

本文來自微信公眾號：SF 中文 （ID：kexuejiaodian），作者：SF

大腦中的海馬體在學習、記憶和空間表征等方面發(fā)揮了關鍵作用，而海馬體發(fā)揮作用的過程都依賴于 NMDA 受體。NMDA 受體就是 N-甲基-D-天冬氨酸受體，是離子型谷氨酸受體的一個亞型，分子結(jié)構(gòu)復雜。

近日，第 37 屆神經(jīng)信息處理系統(tǒng)年會在美國新奧爾良市舉行。在會上，有科學團隊提出，人工智能模型 Transformer 具有類似 NMDA 受體的功能。除了這項發(fā)現(xiàn)，他們還設計了新的非線性函數(shù)，讓 Transformer 模型模擬 NMDA 受體的動力學性能。

NMDA 受體是一個“智能”通道，可以促進記憶和技能的形成。如果大腦中存在谷氨酸，神經(jīng)細胞會變得興奮，向 NMDA 受體傳遞神經(jīng)遞質(zhì)。同時，鎂離子會負責把關，當鎂離子被從 NMDA 受體上擠走，神經(jīng)遞質(zhì)才被允許進入下一個神經(jīng)細胞。在海馬體中，順暢的物質(zhì)傳遞才能保證短期記憶有效地轉(zhuǎn)化為長期記憶，同時鎂離子負責選擇性地讓物質(zhì)通過。

在新研究中，科學家發(fā)現(xiàn) Transformer 模型中也有類似于 NMDA 受體中鎂離子把關的過程，并且，調(diào)整 Transformer 模型的參數(shù)可以使模型的記憶能力增強。這一發(fā)現(xiàn)促使研究人員思考，是否可以通過研究 NMDA 受體中鎂離子把關的機制，來制定出調(diào)控 Transformer 模型記憶鞏固過程的方法，并使模型具有系統(tǒng)的長期記憶，甚至具備意識。

短期記憶與長期記憶

想要明白長期記憶對人工智能的意義，我們需要先理解短期記憶與長期記憶。

或許許多人都有為手機內(nèi)存不夠苦惱過，大幾千的手機用了兩三年內(nèi)存就告急了。但是手機平時用著并不“卡”，也沒有要更換的必要。我們通常會通過刪除或轉(zhuǎn)移走聊天記錄、圖片或視頻等方法，來給手機騰內(nèi)存空間。

手機用著不“卡”，可能是因為手機的系統(tǒng)內(nèi)存還有富余。系統(tǒng)內(nèi)存是一種隨機存儲器（RAM），被用于存儲手機程序運行時的數(shù)據(jù)，因此也被稱為運行內(nèi)存。系統(tǒng)內(nèi)存無法長期存儲數(shù)據(jù)，可能退出了應用程序，相關的數(shù)據(jù)就丟失了。

與系統(tǒng)內(nèi)存對應的是手機機身內(nèi)存。手機聊天記錄丟失，或者無法拍照，可能是由于機身內(nèi)存剩余的空間不夠了。機身內(nèi)存是一種只讀存儲器（ROM），可以穩(wěn)定、長期地存儲數(shù)據(jù)。但 ROM 的數(shù)據(jù)也并不是都不可擦除，現(xiàn)在也有了可編程、可擦除的 ROM，因此，我們現(xiàn)在也可以自動清理手機的機身內(nèi)存。

與此類似，動物的大腦也是這樣運行的?？梢哉f，RAM 相當于動物的短期記性，ROM 相當于長期記憶，而 ROM 數(shù)據(jù)可擦除或許就相當于大腦器質(zhì)性病變。

關于動物長期記憶和短期記憶的一個著名謠言就是“魚的記憶只有 7 秒”。科學家曾對魚進行電擊實驗，發(fā)現(xiàn)魚在 20 秒后還有回避有電擊危險的地方。還有一項新研究顯示，猿類可以記得它們幾十年未見的朋友，這是有記錄以來最持久的非人類社會記憶。

不管是大腦，還是手機這樣的電腦，都采取了類似的數(shù)據(jù)存儲方式，這是因為就目前的技術而言，針對存儲這項功能，任何硬件設施可發(fā)揮的作用都是有限的，而這種短期記憶和長期記憶結(jié)合的方式就是在受硬件設施限制的情況下，一種高效率的解決方案。

另外，大腦生成的長期記憶為解決復雜問題提供了基礎。長期記憶實際上存在于大腦皮層。在大腦皮層，記憶意味著改變腦細胞之間的鏈接，構(gòu)建新的鏈路，形成新的網(wǎng)絡模式。海馬體負責將短期以及轉(zhuǎn)化為長期記憶，如果海馬體受損，人就會變得“很健忘”。

Transformer 模型與海馬體

其實，在這項研究之前，Transformer 模型與海馬體之間就有淵源。

Transformer 模型是一種人工神經(jīng)網(wǎng)絡模型，可以并行訓練，具有全局思維?，F(xiàn)在火爆的 GPT 系列預訓練語言模型就是基于這個模型。2017 年，Transformer 模型作為人工智能領域用于處理自然語言的一種新模型被首次提出，而當時的其他神經(jīng)網(wǎng)絡模型僅將輸入與某些特定的輸入相連。

此前，有研究顯示，Transfrmer 模型是在完全沒有生物學知識輔助的情況下開發(fā)出來的，但其架構(gòu)卻和大腦中海馬體的結(jié)構(gòu)極其相似。

Transformer 模型的工作原理是一種被稱為“自注意力”（self-attention）的機制 —— 每個輸入，不管是一個單詞，一個像素，還是序列中的一個數(shù)字，總是與其余每個輸入相連。

與此相對應的是，海馬體在情景記憶和空間認知等大腦功能中承載了核心功能，它可以調(diào)動抽象的結(jié)構(gòu)性信息，而這些信息通常是大腦行使各種不同的功能而積累的。也就是說，海馬體為了解決具體問題，可以系統(tǒng)地抽取負責其他大腦功能的區(qū)域存儲的信息。

我們甚至無法說是“人工智能模型里面有一個海馬體”還是“大腦中有一個 Transformer 模型”。對 Transformer 模型的研究，可以提高我們對大腦的理解，同時，對大腦的深入研究，也可以促進人工智能的發(fā)展。

具備長期記憶會讓人工智能更“智能”嗎？

人類有長期記憶才有意識，才有自我。有些海馬體受損的人或許可以對短期記憶表現(xiàn)出的瞬間意識，但此時的他已經(jīng)和曾經(jīng)具有自我的那個人不一樣了。

現(xiàn)在的人工智能模型還沒有長期記憶，它們通常都是重復使用已經(jīng)學習好的模型或者已經(jīng)被人工定義好的模型，不具備不斷獲取信息和知識，并把新的信息與知識加入到系統(tǒng)中的機制。有觀點認為，具備長期記憶將是人工智能模型演進到一個更高階段的表現(xiàn)，也是未來人工智能領域的熱點。

但是，梳理了 Transformer 模型與海馬體的關系之后，我們發(fā)現(xiàn)，有些人工智能技術并沒有刻意往人的意識和思維方面靠攏，但卻具備了與人的大腦類似的功能。那么，我們一定要按照人類的意識和思維來度量人工智能是否“智能”嗎？

要回答這個問題，需要先回到這項技術發(fā)展的初期?，F(xiàn)在，人們普遍認知的人工智能就是“用機器模擬人的意識和思維”。但是，在初期，它與“使機器智能化”這個研究方向是密不可分的。

在那時，許多科學家努力讓機器學習數(shù)學思維、邏輯關系等，讓它們能高效地推理數(shù)學猜想等（例如數(shù)學家吳文俊，中國人工智能領域最高榮譽“吳文俊人工智能科學技術獎”就是以他的名字命名），而如果要用“人的思維”去解決這些問題，其實并不一定高效。

對于曾經(jīng)的電腦和現(xiàn)在的智能手機，許多人都不會覺得它們“像人”，即使它們在某些方面與人腦類似。這些技術不算人工智能，發(fā)展這些技術的初衷并不是為了模擬人的意識和思維，只是以“使機器智能化”的方式，來更高效地解決一些問題。而最終，這個初衷確實實現(xiàn)了。

正如在谷歌大腦（Google Brain）研究 Transformer 模型的計算機科學家大衛(wèi)?哈（David Ha）所說的：“我們并不是在嘗試重新建造一個大腦，但我們能否創(chuàng)造出足以復制大腦所作所為的機制呢？”或許，無論以什么方式，只要能實現(xiàn)大腦低成本、高性能的運行效果，就可以讓人工智能更“智能”。

關于人工智能性價比的考慮

近幾年，以 ChatGPT 為代表的大語言模型火爆全球。人們在這些人工智能模型身上看到了無限的可能性，這些模型似乎無所不能，并且還有巨大的潛力。現(xiàn)在，許多科研機構(gòu)在調(diào)配資源的時候都會慎重考慮大語言模型。

但是，許多人也開始考慮大語言模型“值不值”。這類大型人工智能模型的運行和升級需要大量的資源，增加對它們的投入，勢必會影響其他科研領域的發(fā)展。另一方面，如果人工智能模型一直保持高成本運行，自身的發(fā)展也會受到影響。

在這項新研究中，科學家在 Transformer 模型中發(fā)現(xiàn)的這個機制與大腦海馬體的鎂離子把關類似。鎂離子把關在形成記憶和鞏固記憶方面有重要作用，Transformer 模型中的這個機制也具有鞏固記憶的效果。那么，對這個機制進行深入研究，或許可以復制大腦低成本、高性能的運行效果，并在節(jié)省大量資源的同時，提升人工智能的發(fā)展速度。

參考文獻：

• https://openreview.net/forum?id=vKpVJxplmB

• https://www.pnas.org/doi/full/10.1073/pnas.2304903120

• https://arxiv.org/abs/2112.04035

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。