昨天的諾貝爾物理學(xué)獎一公布，瞬間炸翻了物理圈和 AI 圈。
Hinton 的第一反應(yīng)更是有趣：這不會是個詐騙電話吧？
如此出乎意料的結(jié)果，讓各路針對諾獎物理學(xué)獎的嚴(yán)肅預(yù)測，都仿佛成了笑話。
而諾貝爾獎的官方賬號，也被網(wǎng)友們給沖爆了。他們紛紛高呼：這不是物理學(xué)！
「數(shù)據(jù)科學(xué)或神經(jīng)網(wǎng)絡(luò)是『用于』物理學(xué)，但絕對不『是』物理學(xué)?！?/p>
相比之下，AI 圈則是一片其樂融融的景象。大佬們都開心地給 Hinton 送去了祝福。
MIT 博士生 Ziming Liu 直言：「Physics (Science) for AI」是一個被嚴(yán)重低估的領(lǐng)域。規(guī)模化可以實現(xiàn)一對多的效果，但唯有科學(xué)才能帶來從無到有的突破。
Jim Fan 則做了一個非常有趣的「AI-物理學(xué)對照表」：
言歸正傳，諾貝爾物理學(xué)獎，為何要頒給 AI 學(xué)者？
這就要從深度學(xué)習(xí)爆發(fā)的那一年講起。
Geoffrey Hinton：2012 年，深度學(xué)習(xí)的驚人革命
早在 1986 年，Geoffrey Hinton 等人在 Nature 上發(fā)表的論文，就讓訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的「反向傳播算法」廣為人知。
當(dāng)時我們很多人都相信這一定是人工智能的未來。我們成功地證明了我們一直相信的東西是正確的。
可以說，神經(jīng)網(wǎng)絡(luò)在經(jīng)歷第一波寒冬之后，自此開始重新走向 AI 舞臺。
1989 年，LeCun 率先使用了反向傳播和卷積神經(jīng)網(wǎng)絡(luò)。他也同意 Hinton 的看法。
我毫不懷疑，最終我們在上世紀(jì) 80-90 年代開發(fā)的技術(shù)將被采用。
不過，反向傳播算法引發(fā)的熱潮，隨后又在 1995 年被統(tǒng)計機器學(xué)習(xí)蓋過去了。
統(tǒng)計機器學(xué)習(xí)的風(fēng)頭興盛了很多年，即使 2006 年 Hinton 在 Science 上首次提出「深度學(xué)習(xí)」，業(yè)內(nèi)也響應(yīng)寥寥。
直到 2012 年 9 月，一篇題為「用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行 ImageNet 圖像分類」的論文，讓此前沉寂多年的 AI 領(lǐng)域熱度驟起。
文中提出的 AlexNet 深度卷積神經(jīng)網(wǎng)絡(luò)，在當(dāng)年的 ImageNet 比賽上以碾壓之勢奪冠，一舉將 top-5 錯誤率降低到了 15.3%，比身后的第二名（26.2%）足足高出 10 多個百分點。
ImageNet 數(shù)據(jù)集，正是由斯坦福李飛飛團隊在 2007 年創(chuàng)建。
AlexNet 摧枯拉朽般的大勝，讓研究人員驚嘆于大型卷積深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的神奇威力，這篇論文也成為深度學(xué)習(xí)和人工智能自「AI 寒冬」后重新成為熱門領(lǐng)域的重要里程碑。
后來人們所講的「深度學(xué)習(xí)革命」，也借此文以發(fā)端，直到十二年后的今天。
事后李飛飛這樣回顧：自 2012 年以來，深度學(xué)習(xí)的發(fā)展堪稱「一場驚人的革命，令人做夢都沒想到」。
自此，人們開始相信：大數(shù)據(jù)、算力、深度模型，是走向通用人工智能的關(guān)鍵三要素。
而深度模型也從最早的卷積神經(jīng)網(wǎng)絡(luò)，迭代為遞歸神經(jīng)網(wǎng)絡(luò)、Transformer、擴散模型，直至今天的 GPT。
從生理學(xué)、哲學(xué)到 AI：大腦究竟如何思考
在年輕時，為了弄清楚人類的大腦如何工作，Hinton 首先來到劍橋?qū)W習(xí)生理學(xué)，而后又轉(zhuǎn)向哲學(xué)，但最終也沒有得到想要的答案。
于是，Hinton 去了愛丁堡，開始研究 AI，通過模擬事物的運行，來測試?yán)碚摗?/p>
「在我看來，必須有一種大腦學(xué)習(xí)的方式，顯然不是通過將各種事物編程到大腦中，然后使用邏輯推理。我們必須弄清楚大腦如何學(xué)會修改神經(jīng)網(wǎng)絡(luò)中的連接，以便它可以做復(fù)雜的事情?！?/p>
「我總是受到關(guān)于大腦工作原理的啟發(fā)：有一堆神經(jīng)元，它們執(zhí)行相對簡單的操作，它們是非線性的，它們收集輸入，進(jìn)行加權(quán)，然后根據(jù)加權(quán)輸入給出輸出。問題是，如何改變這些權(quán)重以使整個事情做得很好？」
某個周日，Hinton 坐在辦公室，突然有人敲門。AI 命運的齒輪從此轉(zhuǎn)動。
敲門的正是 Ilya。
Hinton 給了 Ilya 一篇關(guān)于反向傳播的論文，約定兩人一周后討論。
Ilya：I didn't understand it.
Hinton：這不就是鏈?zhǔn)椒▌t嗎？
Ilya：不是，我不明白你為啥不用個更好的優(yōu)化器來處理梯度？
—— Hinton 的眼睛亮了一下，這是他們花了好幾年時間在思考的問題。
Ilya 很早就有一種直覺：只要把神經(jīng)網(wǎng)絡(luò)模型做大一點，就會得到更好的效果。Hinton 認(rèn)為這是一種逃避，必須有新的想法或者算法才行。
但事實證明，Ilya 是對的。新的想法確實重要，比如像 Transformer 這樣的新架構(gòu)。但實際上，當(dāng)今 AI 的發(fā)展主要源于數(shù)據(jù)的規(guī)模和計算的規(guī)模。
2011 年，Hinton 帶領(lǐng) Ilya 和另一名研究生 James Martins，發(fā)表了一篇字符級預(yù)測的論文。他們使用維基百科訓(xùn)練模型，嘗試預(yù)測下一個 HTML 字符。
模型首次采用了嵌入（embedding）和反向傳播，將每個符號轉(zhuǎn)換為嵌入，然后讓嵌入相互作用以預(yù)測下一個符號的嵌入，并通過反向傳播來學(xué)習(xí)數(shù)據(jù)的三元組。
當(dāng)時的人們不相信模型能夠理解任何東西，但實驗結(jié)果令人震驚，模型仿佛已經(jīng)學(xué)會了思考 —— 所有信息都被壓縮到了模型權(quán)重中。
AI 如何「蹭」上物理學(xué)
講到這里，你可能有一個疑問：這些跟物理學(xué)有什么關(guān)系呢？
諾獎委員會的解釋是，人工神經(jīng)網(wǎng)絡(luò)是用物理學(xué)工具訓(xùn)練的。
Geoffrey Hinton 曾以 Hopfield 網(wǎng)絡(luò)為基礎(chǔ)，創(chuàng)建了一個使用不同方法的新網(wǎng)絡(luò)：玻爾茲曼機。在這個過程中，Hinton 使用的是統(tǒng)計物理學(xué)的工具，來學(xué)習(xí)和識別數(shù)據(jù)中的模式。
就這樣，AI 跟物理學(xué)聯(lián)系上了。
如果講到此次另一位獲獎?wù)?John Hopfield，倒是和物理學(xué)的關(guān)系更緊密一些。
一言以蔽之，Hopfield 網(wǎng)絡(luò)是按物理學(xué)上能量函數(shù)最小化來構(gòu)建的，可以看作是物理學(xué)中「自旋玻璃模型」的擴展。
Hopfield 網(wǎng)絡(luò)利用了材料由于其原子自旋而具有特性的物理學(xué) —— 這種特性使每個原子成為一個微小的磁鐵。整個網(wǎng)絡(luò)的描述方式等同于物理學(xué)中發(fā)現(xiàn)的自旋系統(tǒng)中的能量，并通過找到節(jié)點之間連接的值來訓(xùn)練，使保存的圖像具有低能量。
另外，Hopfield Network 和玻爾茲曼機都是基于能量的模型。
統(tǒng)計力學(xué)原理，便是這兩者的核心。它們都使用來自統(tǒng)計力學(xué)的能量函數(shù)，來建模和解決與模式識別和數(shù)據(jù)分類相關(guān)的問題。
在前者當(dāng)中，能量函數(shù)被用來尋找與所存儲的模式相對應(yīng)的最穩(wěn)定狀態(tài)。后者中，能量函數(shù)通過調(diào)整節(jié)點之間連接的權(quán)重來幫助學(xué)習(xí)數(shù)據(jù)的分布。
至此，諾獎委員會就自圓其說了。
John Hopfield：一個想法，波及三大學(xué)科
20 世紀(jì) 80 年代初，John Hopfield 在加州理工學(xué)院創(chuàng)建了一個簡單的計算機模型 ——Hopfield Network。
其行為方式不太像當(dāng)時的計算機，而更像人腦。
這是因為，Hopfield Network 模仿了人腦儲存信息的結(jié)構(gòu)。它由相互連接的節(jié)點組成，正如人腦中的神經(jīng)元一樣。
節(jié)點中的連接強度具有可塑性，可強可弱，而強連接進(jìn)而形成了我們所說的「記憶」。
Hopfield 學(xué)生，現(xiàn) Caltech 計算機科學(xué)、計算與神經(jīng)系統(tǒng)以及生物工程教授 Erik Winfree 解釋道：
Hopfield Network 是物理學(xué)中「自旋玻璃模型」（the spin glass model）的擴展。自旋玻璃有兩種磁化狀態(tài)，可以稱之為它的「記憶」。
Hopfield 擴展了這一模型，讓其有了更復(fù)雜的連接模式。
簡言之，他使用一個簡單的規(guī)則，讓每對單元（每個節(jié)點）之間有不同的連接強度，而不再局限于兩種狀態(tài)。
他的工作證明了，這種網(wǎng)絡(luò)可以儲存多種復(fù)雜的模式（記憶），而且比之前的方法更接近大腦運作方式。
Hopfield 以一種跨學(xué)科的視角闡述這個模型，解釋了人工神經(jīng)網(wǎng)絡(luò)與物理學(xué)之間的聯(lián)系。
復(fù)旦大學(xué)計算機科學(xué)教授張軍平認(rèn)為，Hopfield Network 與物理學(xué)領(lǐng)域的關(guān)聯(lián)是，它的設(shè)計思路模擬了電路結(jié)構(gòu)。
「假設(shè)網(wǎng)絡(luò)每個單元均由運算放大器和電容電阻組成，而每個單元就代表著一個神經(jīng)元」。
在普林斯頓大學(xué)新聞發(fā)布會上，Hopfield 表達(dá)了同樣的觀點。他認(rèn)為，長遠(yuǎn)來看，新科學(xué)領(lǐng)域通常產(chǎn)生于，大量科學(xué)知識的交叉點上。
你必須愿意在這些「縫隙」中工作，找出你的知識局限性，以及讓這些學(xué)科更豐富、更深入、更好被理解而采取的行動。
來自 MIT-IBM 實驗室物理學(xué)家 Dmitry Krotov 分享了，Hopfield Network 一個想法至少對三大學(xué)科產(chǎn)生了巨大的影響。
它們分別是，統(tǒng)計物理學(xué)、計算機科學(xué)和人工智能、神經(jīng)科學(xué)。
2023 年，他曾發(fā)表了一篇 Nature 論文，對 Hopfield Network 在統(tǒng)計物理、神經(jīng)科學(xué)和機器學(xué)習(xí)等多個學(xué)科中，進(jìn)行了分析。
論文地址：https://www.nature.com/articles/s42254-023-00595-y
Krotov 本人也與 Hopfield 合作過多篇研究，因此他對 Hopfield Network 工作的了解再熟悉不過了。
統(tǒng)計物理學(xué)
在統(tǒng)計物理學(xué)中，Hopfield Model 成為最常被研究的哈密頓量（Hamiltonian）之一。哈密頓量在物理學(xué)中，描述了系統(tǒng)的總能量，是理解系統(tǒng)行為的關(guān)鍵。
這一模型已經(jīng)催生了數(shù)以萬計的論文、幾本書籍。它為數(shù)百名物理學(xué)家進(jìn)入神經(jīng)科學(xué)和人工智能，提供了切入點。
就連諾貝爾獎官方給出了解釋，機器學(xué)習(xí)模型，是基于物理方程式。
計算機科學(xué)和 AI
在計算機科學(xué)中，Hopfield Network 終結(jié)了 AI 寒冬（1974-1981），并開啟了人工神經(jīng)網(wǎng)絡(luò)的復(fù)興。
Hopfield 在 1982 年發(fā)表的論文，標(biāo)志著現(xiàn)代神經(jīng)網(wǎng)絡(luò)的開始。
論文地址：https://www.pnas.org/doi/10.1073/pnas.79.8.2554
就連如今的頂會 NeurIPS，起源可以追溯到 1984-1986 年在加州理工學(xué)院舉行的被稱為「Hopfests」的會議。
這個名字直接致敬了 Hopfield，彰顯了他的早期工作在神經(jīng)網(wǎng)絡(luò)研究中的核心地位。
John Moody 在 1991 年的 NeurIPS 論文集中記錄了這段歷史。
另外，Hopfield Network 成為限制玻爾茲曼機（Restricted Boltzmann Machine）發(fā)展的主要靈感來源。RBM 在早期深度學(xué)習(xí)中，發(fā)揮著重要的作用。
還有基于能量的模型（Energy Based Model），代表著人工智能領(lǐng)域中一個重要的范式。
它也是從 Hopfield 基于能量和記憶的模型發(fā)展而來。
神經(jīng)科學(xué)
在神經(jīng)科學(xué)領(lǐng)域，Hopfield Network 成為后來許多計算記憶模型的基礎(chǔ)。
它將記憶回憶概念化，即能量景觀中滾下山坡的想法，已成為神經(jīng)科學(xué)中的經(jīng)典隱喻。
這次「諾獎風(fēng)波」后，許多人也對如今的學(xué)科分類有了全新的思考。
不可否認(rèn)的是，AI 已經(jīng)融入了全學(xué)科、全領(lǐng)域。
而這次諾貝爾物理學(xué)獎頒給 AI，也是 AI 大爆發(fā)對于人類社會顛覆影響的一個真實寫照。
參考資料：
https://x.com/Caltech/status/1843764971022495942
https://x.com/DimaKrotov/status/1843682498825564463
https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/
https://x.com/DrJimFan/status/1843681423443800315
本文來自微信公眾號：微信公眾號（ID：null），作者：編輯部 HYZ，原標(biāo)題《解密諾貝爾物理學(xué)獎為啥頒給 AI？Hinton 和 Ilya 12 年前對話，竟引發(fā)物理諾獎 AI 風(fēng)暴！》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。