昨天的諾貝爾物理學獎一公布，瞬間炸翻了物理圈和 AI 圈。
Hinton 的第一反應更是有趣：這不會是個詐騙電話吧？
如此出乎意料的結果，讓各路針對諾獎物理學獎的嚴肅預測，都仿佛成了笑話。
而諾貝爾獎的官方賬號，也被網友們給沖爆了。他們紛紛高呼：這不是物理學！
「數據科學或神經網絡是『用于』物理學，但絕對不『是』物理學?！?/p>
相比之下，AI 圈則是一片其樂融融的景象。大佬們都開心地給 Hinton 送去了祝福。
MIT 博士生 Ziming Liu 直言：「Physics (Science) for AI」是一個被嚴重低估的領域。規(guī)?；梢詫崿F一對多的效果，但唯有科學才能帶來從無到有的突破。
Jim Fan 則做了一個非常有趣的「AI-物理學對照表」：
言歸正傳，諾貝爾物理學獎，為何要頒給 AI 學者？
這就要從深度學習爆發(fā)的那一年講起。
Geoffrey Hinton：2012 年，深度學習的驚人革命
早在 1986 年，Geoffrey Hinton 等人在 Nature 上發(fā)表的論文，就讓訓練多層神經網絡的「反向傳播算法」廣為人知。
當時我們很多人都相信這一定是人工智能的未來。我們成功地證明了我們一直相信的東西是正確的。
可以說，神經網絡在經歷第一波寒冬之后，自此開始重新走向 AI 舞臺。
1989 年，LeCun 率先使用了反向傳播和卷積神經網絡。他也同意 Hinton 的看法。
我毫不懷疑，最終我們在上世紀 80-90 年代開發(fā)的技術將被采用。
不過，反向傳播算法引發(fā)的熱潮，隨后又在 1995 年被統(tǒng)計機器學習蓋過去了。
統(tǒng)計機器學習的風頭興盛了很多年，即使 2006 年 Hinton 在 Science 上首次提出「深度學習」，業(yè)內也響應寥寥。
直到 2012 年 9 月，一篇題為「用深度卷積神經網絡進行 ImageNet 圖像分類」的論文，讓此前沉寂多年的 AI 領域熱度驟起。
文中提出的 AlexNet 深度卷積神經網絡，在當年的 ImageNet 比賽上以碾壓之勢奪冠，一舉將 top-5 錯誤率降低到了 15.3%，比身后的第二名（26.2%）足足高出 10 多個百分點。
ImageNet 數據集，正是由斯坦福李飛飛團隊在 2007 年創(chuàng)建。
AlexNet 摧枯拉朽般的大勝，讓研究人員驚嘆于大型卷積深度神經網絡架構的神奇威力，這篇論文也成為深度學習和人工智能自「AI 寒冬」后重新成為熱門領域的重要里程碑。
后來人們所講的「深度學習革命」，也借此文以發(fā)端，直到十二年后的今天。
事后李飛飛這樣回顧：自 2012 年以來，深度學習的發(fā)展堪稱「一場驚人的革命，令人做夢都沒想到」。
自此，人們開始相信：大數據、算力、深度模型，是走向通用人工智能的關鍵三要素。
而深度模型也從最早的卷積神經網絡，迭代為遞歸神經網絡、Transformer、擴散模型，直至今天的 GPT。
從生理學、哲學到 AI：大腦究竟如何思考
在年輕時，為了弄清楚人類的大腦如何工作，Hinton 首先來到劍橋學習生理學，而后又轉向哲學，但最終也沒有得到想要的答案。
于是，Hinton 去了愛丁堡，開始研究 AI，通過模擬事物的運行，來測試理論。
「在我看來，必須有一種大腦學習的方式，顯然不是通過將各種事物編程到大腦中，然后使用邏輯推理。我們必須弄清楚大腦如何學會修改神經網絡中的連接，以便它可以做復雜的事情?！?/p>
「我總是受到關于大腦工作原理的啟發(fā)：有一堆神經元，它們執(zhí)行相對簡單的操作，它們是非線性的，它們收集輸入，進行加權，然后根據加權輸入給出輸出。問題是，如何改變這些權重以使整個事情做得很好？」
某個周日，Hinton 坐在辦公室，突然有人敲門。AI 命運的齒輪從此轉動。
敲門的正是 Ilya。
Hinton 給了 Ilya 一篇關于反向傳播的論文，約定兩人一周后討論。
Ilya：I didn't understand it.
Hinton：這不就是鏈式法則嗎？
Ilya：不是，我不明白你為啥不用個更好的優(yōu)化器來處理梯度？
—— Hinton 的眼睛亮了一下，這是他們花了好幾年時間在思考的問題。
Ilya 很早就有一種直覺：只要把神經網絡模型做大一點，就會得到更好的效果。Hinton 認為這是一種逃避，必須有新的想法或者算法才行。
但事實證明，Ilya 是對的。新的想法確實重要，比如像 Transformer 這樣的新架構。但實際上，當今 AI 的發(fā)展主要源于數據的規(guī)模和計算的規(guī)模。
2011 年，Hinton 帶領 Ilya 和另一名研究生 James Martins，發(fā)表了一篇字符級預測的論文。他們使用維基百科訓練模型，嘗試預測下一個 HTML 字符。
模型首次采用了嵌入（embedding）和反向傳播，將每個符號轉換為嵌入，然后讓嵌入相互作用以預測下一個符號的嵌入，并通過反向傳播來學習數據的三元組。
當時的人們不相信模型能夠理解任何東西，但實驗結果令人震驚，模型仿佛已經學會了思考 —— 所有信息都被壓縮到了模型權重中。
AI 如何「蹭」上物理學
講到這里，你可能有一個疑問：這些跟物理學有什么關系呢？
諾獎委員會的解釋是，人工神經網絡是用物理學工具訓練的。
Geoffrey Hinton 曾以 Hopfield 網絡為基礎，創(chuàng)建了一個使用不同方法的新網絡：玻爾茲曼機。在這個過程中，Hinton 使用的是統(tǒng)計物理學的工具，來學習和識別數據中的模式。
就這樣，AI 跟物理學聯(lián)系上了。
如果講到此次另一位獲獎者 John Hopfield，倒是和物理學的關系更緊密一些。
一言以蔽之，Hopfield 網絡是按物理學上能量函數最小化來構建的，可以看作是物理學中「自旋玻璃模型」的擴展。
Hopfield 網絡利用了材料由于其原子自旋而具有特性的物理學 —— 這種特性使每個原子成為一個微小的磁鐵。整個網絡的描述方式等同于物理學中發(fā)現的自旋系統(tǒng)中的能量，并通過找到節(jié)點之間連接的值來訓練，使保存的圖像具有低能量。
另外，Hopfield Network 和玻爾茲曼機都是基于能量的模型。
統(tǒng)計力學原理，便是這兩者的核心。它們都使用來自統(tǒng)計力學的能量函數，來建模和解決與模式識別和數據分類相關的問題。
在前者當中，能量函數被用來尋找與所存儲的模式相對應的最穩(wěn)定狀態(tài)。后者中，能量函數通過調整節(jié)點之間連接的權重來幫助學習數據的分布。
至此，諾獎委員會就自圓其說了。
John Hopfield：一個想法，波及三大學科
20 世紀 80 年代初，John Hopfield 在加州理工學院創(chuàng)建了一個簡單的計算機模型 ——Hopfield Network。
其行為方式不太像當時的計算機，而更像人腦。
這是因為，Hopfield Network 模仿了人腦儲存信息的結構。它由相互連接的節(jié)點組成，正如人腦中的神經元一樣。
節(jié)點中的連接強度具有可塑性，可強可弱，而強連接進而形成了我們所說的「記憶」。
Hopfield 學生，現 Caltech 計算機科學、計算與神經系統(tǒng)以及生物工程教授 Erik Winfree 解釋道：
Hopfield Network 是物理學中「自旋玻璃模型」（the spin glass model）的擴展。自旋玻璃有兩種磁化狀態(tài)，可以稱之為它的「記憶」。
Hopfield 擴展了這一模型，讓其有了更復雜的連接模式。
簡言之，他使用一個簡單的規(guī)則，讓每對單元（每個節(jié)點）之間有不同的連接強度，而不再局限于兩種狀態(tài)。
他的工作證明了，這種網絡可以儲存多種復雜的模式（記憶），而且比之前的方法更接近大腦運作方式。
Hopfield 以一種跨學科的視角闡述這個模型，解釋了人工神經網絡與物理學之間的聯(lián)系。
復旦大學計算機科學教授張軍平認為，Hopfield Network 與物理學領域的關聯(lián)是，它的設計思路模擬了電路結構。
「假設網絡每個單元均由運算放大器和電容電阻組成，而每個單元就代表著一個神經元」。
在普林斯頓大學新聞發(fā)布會上，Hopfield 表達了同樣的觀點。他認為，長遠來看，新科學領域通常產生于，大量科學知識的交叉點上。
你必須愿意在這些「縫隙」中工作，找出你的知識局限性，以及讓這些學科更豐富、更深入、更好被理解而采取的行動。
來自 MIT-IBM 實驗室物理學家 Dmitry Krotov 分享了，Hopfield Network 一個想法至少對三大學科產生了巨大的影響。
它們分別是，統(tǒng)計物理學、計算機科學和人工智能、神經科學。
2023 年，他曾發(fā)表了一篇 Nature 論文，對 Hopfield Network 在統(tǒng)計物理、神經科學和機器學習等多個學科中，進行了分析。
論文地址：https://www.nature.com/articles/s42254-023-00595-y
Krotov 本人也與 Hopfield 合作過多篇研究，因此他對 Hopfield Network 工作的了解再熟悉不過了。
統(tǒng)計物理學
在統(tǒng)計物理學中，Hopfield Model 成為最常被研究的哈密頓量（Hamiltonian）之一。哈密頓量在物理學中，描述了系統(tǒng)的總能量，是理解系統(tǒng)行為的關鍵。
這一模型已經催生了數以萬計的論文、幾本書籍。它為數百名物理學家進入神經科學和人工智能，提供了切入點。
就連諾貝爾獎官方給出了解釋，機器學習模型，是基于物理方程式。
計算機科學和 AI
在計算機科學中，Hopfield Network 終結了 AI 寒冬（1974-1981），并開啟了人工神經網絡的復興。
Hopfield 在 1982 年發(fā)表的論文，標志著現代神經網絡的開始。
論文地址：https://www.pnas.org/doi/10.1073/pnas.79.8.2554
就連如今的頂會 NeurIPS，起源可以追溯到 1984-1986 年在加州理工學院舉行的被稱為「Hopfests」的會議。
這個名字直接致敬了 Hopfield，彰顯了他的早期工作在神經網絡研究中的核心地位。
John Moody 在 1991 年的 NeurIPS 論文集中記錄了這段歷史。
另外，Hopfield Network 成為限制玻爾茲曼機（Restricted Boltzmann Machine）發(fā)展的主要靈感來源。RBM 在早期深度學習中，發(fā)揮著重要的作用。
還有基于能量的模型（Energy Based Model），代表著人工智能領域中一個重要的范式。
它也是從 Hopfield 基于能量和記憶的模型發(fā)展而來。
神經科學
在神經科學領域，Hopfield Network 成為后來許多計算記憶模型的基礎。
它將記憶回憶概念化，即能量景觀中滾下山坡的想法，已成為神經科學中的經典隱喻。
這次「諾獎風波」后，許多人也對如今的學科分類有了全新的思考。
不可否認的是，AI 已經融入了全學科、全領域。
而這次諾貝爾物理學獎頒給 AI，也是 AI 大爆發(fā)對于人類社會顛覆影響的一個真實寫照。
參考資料：
https://x.com/Caltech/status/1843764971022495942
https://x.com/DimaKrotov/status/1843682498825564463
https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/
https://x.com/DrJimFan/status/1843681423443800315
本文來自微信公眾號：微信公眾號（ID：null），作者：編輯部 HYZ，原標題《解密諾貝爾物理學獎為啥頒給 AI？Hinton 和 Ilya 12 年前對話，竟引發(fā)物理諾獎 AI 風暴！》
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。