設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

解密 2024 諾貝爾物理學(xué)獎(jiǎng)為啥頒給 AI:Hinton 和 Ilya 12 年前對(duì)話,引發(fā)物理諾獎(jiǎng) AI 風(fēng)暴

新智元 2024/10/9 14:25:27 責(zé)編:汪淼

昨天的諾貝爾物理學(xué)獎(jiǎng)一公布,瞬間炸翻了物理圈和 AI 圈。

Hinton 的第一反應(yīng)更是有趣:這不會(huì)是個(gè)詐騙電話吧?

如此出乎意料的結(jié)果,讓各路針對(duì)諾獎(jiǎng)物理學(xué)獎(jiǎng)的嚴(yán)肅預(yù)測(cè),都仿佛成了笑話。

而諾貝爾獎(jiǎng)的官方賬號(hào),也被網(wǎng)友們給沖爆了。他們紛紛高呼:這不是物理學(xué)!

「數(shù)據(jù)科學(xué)或神經(jīng)網(wǎng)絡(luò)是『用于』物理學(xué),但絕對(duì)不『是』物理學(xué)?!?/p>

相比之下,AI 圈則是一片其樂(lè)融融的景象。大佬們都開(kāi)心地給 Hinton 送去了祝福。

AI 教母李飛飛:AI 的深遠(yuǎn)影響,如今才剛剛開(kāi)始

AI 教母李飛飛:AI 的深遠(yuǎn)影響,如今才剛剛開(kāi)始

MIT 博士生 Ziming Liu 直言:「Physics (Science) for AI」是一個(gè)被嚴(yán)重低估的領(lǐng)域。規(guī)?;梢詫?shí)現(xiàn)一對(duì)多的效果,但唯有科學(xué)才能帶來(lái)從無(wú)到有的突破。

Jim Fan 則做了一個(gè)非常有趣的「AI-物理學(xué)對(duì)照表」:

想沖擊諾獎(jiǎng)的 AI 學(xué)者們,你們學(xué)會(huì)了嗎

想沖擊諾獎(jiǎng)的 AI 學(xué)者們,你們學(xué)會(huì)了嗎

言歸正傳,諾貝爾物理學(xué)獎(jiǎng),為何要頒給 AI 學(xué)者?

這就要從深度學(xué)習(xí)爆發(fā)的那一年講起。

Geoffrey Hinton:2012 年,深度學(xué)習(xí)的驚人革命

早在 1986 年,Geoffrey Hinton 等人在 Nature 上發(fā)表的論文,就讓訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的「反向傳播算法」廣為人知。

當(dāng)時(shí)我們很多人都相信這一定是人工智能的未來(lái)。我們成功地證明了我們一直相信的東西是正確的。

可以說(shuō),神經(jīng)網(wǎng)絡(luò)在經(jīng)歷第一波寒冬之后,自此開(kāi)始重新走向 AI 舞臺(tái)。

1989 年,LeCun 率先使用了反向傳播和卷積神經(jīng)網(wǎng)絡(luò)。他也同意 Hinton 的看法。

我毫不懷疑,最終我們?cè)谏鲜兰o(jì) 80-90 年代開(kāi)發(fā)的技術(shù)將被采用。

早期的圖靈三巨頭

早期的圖靈三巨頭

不過(guò),反向傳播算法引發(fā)的熱潮,隨后又在 1995 年被統(tǒng)計(jì)機(jī)器學(xué)習(xí)蓋過(guò)去了。

統(tǒng)計(jì)機(jī)器學(xué)習(xí)的風(fēng)頭興盛了很多年,即使 2006 年 Hinton 在 Science 上首次提出「深度學(xué)習(xí)」,業(yè)內(nèi)也響應(yīng)寥寥。

直到 2012 年 9 月,一篇題為「用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行 ImageNet 圖像分類(lèi)」的論文,讓此前沉寂多年的 AI 領(lǐng)域熱度驟起。

文中提出的 AlexNet 深度卷積神經(jīng)網(wǎng)絡(luò),在當(dāng)年的 ImageNet 比賽上以碾壓之勢(shì)奪冠,一舉將 top-5 錯(cuò)誤率降低到了 15.3%,比身后的第二名(26.2%)足足高出 10 多個(gè)百分點(diǎn)。

ImageNet 數(shù)據(jù)集,正是由斯坦福李飛飛團(tuán)隊(duì)在 2007 年創(chuàng)建。

AlexNet 摧枯拉朽般的大勝,讓研究人員驚嘆于大型卷積深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的神奇威力,這篇論文也成為深度學(xué)習(xí)和人工智能自「AI 寒冬」后重新成為熱門(mén)領(lǐng)域的重要里程碑。

后來(lái)人們所講的「深度學(xué)習(xí)革命」,也借此文以發(fā)端,直到十二年后的今天。

事后李飛飛這樣回顧:自 2012 年以來(lái),深度學(xué)習(xí)的發(fā)展堪稱(chēng)「一場(chǎng)驚人的革命,令人做夢(mèng)都沒(méi)想到」。

自此,人們開(kāi)始相信:大數(shù)據(jù)、算力、深度模型,是走向通用人工智能的關(guān)鍵三要素。

而深度模型也從最早的卷積神經(jīng)網(wǎng)絡(luò),迭代為遞歸神經(jīng)網(wǎng)絡(luò)、Transformer、擴(kuò)散模型,直至今天的 GPT。

從生理學(xué)、哲學(xué)到 AI:大腦究竟如何思考

在年輕時(shí),為了弄清楚人類(lèi)的大腦如何工作,Hinton 首先來(lái)到劍橋?qū)W習(xí)生理學(xué),而后又轉(zhuǎn)向哲學(xué),但最終也沒(méi)有得到想要的答案。

于是,Hinton 去了愛(ài)丁堡,開(kāi)始研究 AI,通過(guò)模擬事物的運(yùn)行,來(lái)測(cè)試?yán)碚摗?/p>

「在我看來(lái),必須有一種大腦學(xué)習(xí)的方式,顯然不是通過(guò)將各種事物編程到大腦中,然后使用邏輯推理。我們必須弄清楚大腦如何學(xué)會(huì)修改神經(jīng)網(wǎng)絡(luò)中的連接,以便它可以做復(fù)雜的事情。」

「我總是受到關(guān)于大腦工作原理的啟發(fā):有一堆神經(jīng)元,它們執(zhí)行相對(duì)簡(jiǎn)單的操作,它們是非線性的,它們收集輸入,進(jìn)行加權(quán),然后根據(jù)加權(quán)輸入給出輸出。問(wèn)題是,如何改變這些權(quán)重以使整個(gè)事情做得很好?」

某個(gè)周日,Hinton 坐在辦公室,突然有人敲門(mén)。AI 命運(yùn)的齒輪從此轉(zhuǎn)動(dòng)。

敲門(mén)的正是 Ilya。

當(dāng)年青澀的 Ilya

當(dāng)年青澀的 Ilya

Hinton 給了 Ilya 一篇關(guān)于反向傳播的論文,約定兩人一周后討論。

Ilya:I didn't understand it.

Hinton:這不就是鏈?zhǔn)椒▌t嗎?

Ilya:不是,我不明白你為啥不用個(gè)更好的優(yōu)化器來(lái)處理梯度?

—— Hinton 的眼睛亮了一下,這是他們花了好幾年時(shí)間在思考的問(wèn)題。

Ilya 很早就有一種直覺(jué):只要把神經(jīng)網(wǎng)絡(luò)模型做大一點(diǎn),就會(huì)得到更好的效果。Hinton 認(rèn)為這是一種逃避,必須有新的想法或者算法才行。

但事實(shí)證明,Ilya 是對(duì)的。新的想法確實(shí)重要,比如像 Transformer 這樣的新架構(gòu)。但實(shí)際上,當(dāng)今 AI 的發(fā)展主要源于數(shù)據(jù)的規(guī)模和計(jì)算的規(guī)模。

2011 年,Hinton 帶領(lǐng) Ilya 和另一名研究生 James Martins,發(fā)表了一篇字符級(jí)預(yù)測(cè)的論文。他們使用維基百科訓(xùn)練模型,嘗試預(yù)測(cè)下一個(gè) HTML 字符。

模型首次采用了嵌入(embedding)和反向傳播,將每個(gè)符號(hào)轉(zhuǎn)換為嵌入,然后讓嵌入相互作用以預(yù)測(cè)下一個(gè)符號(hào)的嵌入,并通過(guò)反向傳播來(lái)學(xué)習(xí)數(shù)據(jù)的三元組。

當(dāng)時(shí)的人們不相信模型能夠理解任何東西,但實(shí)驗(yàn)結(jié)果令人震驚,模型仿佛已經(jīng)學(xué)會(huì)了思考 —— 所有信息都被壓縮到了模型權(quán)重中。

AI 如何「蹭」上物理學(xué)

講到這里,你可能有一個(gè)疑問(wèn):這些跟物理學(xué)有什么關(guān)系呢?

諾獎(jiǎng)委員會(huì)的解釋是,人工神經(jīng)網(wǎng)絡(luò)是用物理學(xué)工具訓(xùn)練的。

Geoffrey Hinton 曾以 Hopfield 網(wǎng)絡(luò)為基礎(chǔ),創(chuàng)建了一個(gè)使用不同方法的新網(wǎng)絡(luò):玻爾茲曼機(jī)。在這個(gè)過(guò)程中,Hinton 使用的是統(tǒng)計(jì)物理學(xué)的工具,來(lái)學(xué)習(xí)和識(shí)別數(shù)據(jù)中的模式。

就這樣,AI 跟物理學(xué)聯(lián)系上了。

如果講到此次另一位獲獎(jiǎng)?wù)?John Hopfield,倒是和物理學(xué)的關(guān)系更緊密一些。

一言以蔽之,Hopfield 網(wǎng)絡(luò)是按物理學(xué)上能量函數(shù)最小化來(lái)構(gòu)建的,可以看作是物理學(xué)中「自旋玻璃模型」的擴(kuò)展。

Hopfield 網(wǎng)絡(luò)利用了材料由于其原子自旋而具有特性的物理學(xué) —— 這種特性使每個(gè)原子成為一個(gè)微小的磁鐵。整個(gè)網(wǎng)絡(luò)的描述方式等同于物理學(xué)中發(fā)現(xiàn)的自旋系統(tǒng)中的能量,并通過(guò)找到節(jié)點(diǎn)之間連接的值來(lái)訓(xùn)練,使保存的圖像具有低能量。

另外,Hopfield Network 和玻爾茲曼機(jī)都是基于能量的模型。

統(tǒng)計(jì)力學(xué)原理,便是這兩者的核心。它們都使用來(lái)自統(tǒng)計(jì)力學(xué)的能量函數(shù),來(lái)建模和解決與模式識(shí)別和數(shù)據(jù)分類(lèi)相關(guān)的問(wèn)題。

在前者當(dāng)中,能量函數(shù)被用來(lái)尋找與所存儲(chǔ)的模式相對(duì)應(yīng)的最穩(wěn)定狀態(tài)。后者中,能量函數(shù)通過(guò)調(diào)整節(jié)點(diǎn)之間連接的權(quán)重來(lái)幫助學(xué)習(xí)數(shù)據(jù)的分布。

至此,諾獎(jiǎng)委員會(huì)就自圓其說(shuō)了。

John Hopfield:一個(gè)想法,波及三大學(xué)科

20 世紀(jì) 80 年代初,John Hopfield 在加州理工學(xué)院創(chuàng)建了一個(gè)簡(jiǎn)單的計(jì)算機(jī)模型 ——Hopfield Network。

其行為方式不太像當(dāng)時(shí)的計(jì)算機(jī),而更像人腦。

這是因?yàn)椋琀opfield Network 模仿了人腦儲(chǔ)存信息的結(jié)構(gòu)。它由相互連接的節(jié)點(diǎn)組成,正如人腦中的神經(jīng)元一樣。

節(jié)點(diǎn)中的連接強(qiáng)度具有可塑性,可強(qiáng)可弱,而強(qiáng)連接進(jìn)而形成了我們所說(shuō)的「記憶」。

Hopfield 學(xué)生,現(xiàn) Caltech 計(jì)算機(jī)科學(xué)、計(jì)算與神經(jīng)系統(tǒng)以及生物工程教授 Erik Winfree 解釋道:

Hopfield Network 是物理學(xué)中「自旋玻璃模型」(the spin glass model)的擴(kuò)展。自旋玻璃有兩種磁化狀態(tài),可以稱(chēng)之為它的「記憶」。

Hopfield 擴(kuò)展了這一模型,讓其有了更復(fù)雜的連接模式。

簡(jiǎn)言之,他使用一個(gè)簡(jiǎn)單的規(guī)則,讓每對(duì)單元(每個(gè)節(jié)點(diǎn))之間有不同的連接強(qiáng)度,而不再局限于兩種狀態(tài)。

他的工作證明了,這種網(wǎng)絡(luò)可以儲(chǔ)存多種復(fù)雜的模式(記憶),而且比之前的方法更接近大腦運(yùn)作方式。

Hopfield 以一種跨學(xué)科的視角闡述這個(gè)模型,解釋了人工神經(jīng)網(wǎng)絡(luò)與物理學(xué)之間的聯(lián)系。

復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)教授張軍平認(rèn)為,Hopfield Network 與物理學(xué)領(lǐng)域的關(guān)聯(lián)是,它的設(shè)計(jì)思路模擬了電路結(jié)構(gòu)。

「假設(shè)網(wǎng)絡(luò)每個(gè)單元均由運(yùn)算放大器和電容電阻組成,而每個(gè)單元就代表著一個(gè)神經(jīng)元」。

在普林斯頓大學(xué)新聞發(fā)布會(huì)上,Hopfield 表達(dá)了同樣的觀點(diǎn)。他認(rèn)為,長(zhǎng)遠(yuǎn)來(lái)看,新科學(xué)領(lǐng)域通常產(chǎn)生于,大量科學(xué)知識(shí)的交叉點(diǎn)上。

你必須愿意在這些「縫隙」中工作,找出你的知識(shí)局限性,以及讓這些學(xué)科更豐富、更深入、更好被理解而采取的行動(dòng)。

來(lái)自 MIT-IBM 實(shí)驗(yàn)室物理學(xué)家 Dmitry Krotov 分享了,Hopfield Network 一個(gè)想法至少對(duì)三大學(xué)科產(chǎn)生了巨大的影響。

它們分別是,統(tǒng)計(jì)物理學(xué)、計(jì)算機(jī)科學(xué)和人工智能、神經(jīng)科學(xué)。

2023 年,他曾發(fā)表了一篇 Nature 論文,對(duì) Hopfield Network 在統(tǒng)計(jì)物理、神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)等多個(gè)學(xué)科中,進(jìn)行了分析。

論文地址:https://www.nature.com/articles/s42254-023-00595-y

Krotov 本人也與 Hopfield 合作過(guò)多篇研究,因此他對(duì) Hopfield Network 工作的了解再熟悉不過(guò)了。

統(tǒng)計(jì)物理學(xué)

在統(tǒng)計(jì)物理學(xué)中,Hopfield Model 成為最常被研究的哈密頓量(Hamiltonian)之一。哈密頓量在物理學(xué)中,描述了系統(tǒng)的總能量,是理解系統(tǒng)行為的關(guān)鍵。

這一模型已經(jīng)催生了數(shù)以萬(wàn)計(jì)的論文、幾本書(shū)籍。它為數(shù)百名物理學(xué)家進(jìn)入神經(jīng)科學(xué)和人工智能,提供了切入點(diǎn)。

就連諾貝爾獎(jiǎng)官方給出了解釋?zhuān)瑱C(jī)器學(xué)習(xí)模型,是基于物理方程式。

計(jì)算機(jī)科學(xué)和 AI

在計(jì)算機(jī)科學(xué)中,Hopfield Network 終結(jié)了 AI 寒冬(1974-1981),并開(kāi)啟了人工神經(jīng)網(wǎng)絡(luò)的復(fù)興。

Hopfield 在 1982 年發(fā)表的論文,標(biāo)志著現(xiàn)代神經(jīng)網(wǎng)絡(luò)的開(kāi)始。

論文地址:https://www.pnas.org/doi/10.1073/pnas.79.8.2554

就連如今的頂會(huì) NeurIPS,起源可以追溯到 1984-1986 年在加州理工學(xué)院舉行的被稱(chēng)為「Hopfests」的會(huì)議。

這個(gè)名字直接致敬了 Hopfield,彰顯了他的早期工作在神經(jīng)網(wǎng)絡(luò)研究中的核心地位。

John Moody 在 1991 年的 NeurIPS 論文集中記錄了這段歷史。

另外,Hopfield Network 成為限制玻爾茲曼機(jī)(Restricted Boltzmann Machine)發(fā)展的主要靈感來(lái)源。RBM 在早期深度學(xué)習(xí)中,發(fā)揮著重要的作用。

還有基于能量的模型(Energy Based Model),代表著人工智能領(lǐng)域中一個(gè)重要的范式。

它也是從 Hopfield 基于能量和記憶的模型發(fā)展而來(lái)。

神經(jīng)科學(xué)

在神經(jīng)科學(xué)領(lǐng)域,Hopfield Network 成為后來(lái)許多計(jì)算記憶模型的基礎(chǔ)。

它將記憶回憶概念化,即能量景觀中滾下山坡的想法,已成為神經(jīng)科學(xué)中的經(jīng)典隱喻。

這次「諾獎(jiǎng)風(fēng)波」后,許多人也對(duì)如今的學(xué)科分類(lèi)有了全新的思考。

不可否認(rèn)的是,AI 已經(jīng)融入了全學(xué)科、全領(lǐng)域。

而這次諾貝爾物理學(xué)獎(jiǎng)?lì)C給 AI,也是 AI 大爆發(fā)對(duì)于人類(lèi)社會(huì)顛覆影響的一個(gè)真實(shí)寫(xiě)照。

參考資料:

  • https://x.com/Caltech/status/1843764971022495942

  • https://x.com/DimaKrotov/status/1843682498825564463

  • https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/

  • https://x.com/DrJimFan/status/1843681423443800315

本文來(lái)自微信公眾號(hào):微信公眾號(hào)(ID:null),作者:編輯部 HYZ,原標(biāo)題《解密諾貝爾物理學(xué)獎(jiǎng)為啥頒給 AI?Hinton 和 Ilya 12 年前對(duì)話,竟引發(fā)物理諾獎(jiǎng) AI 風(fēng)暴!》

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知