繼李飛飛、Bengio、何愷明之后，在剛剛的 NeurIPS 2024 中，Ilya Sutskever 最新演講也來了。雖然時長僅有 15 分鐘左右，但內(nèi)容依舊看頭十足。
例如這一句：
Pre-training as we know it will end.
我們所熟知的預(yù)訓(xùn)練即將終結(jié)。
而之于未來，Ilya 還預(yù)測道：
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下來將是超級智能：代理、推理、理解和自我意識。
那么為何會有如此？我們一起來看看完整演講。
回顧十年技術(shù)發(fā)展
Ilya 先是用一張十年前的 PPT 截圖開啟了這次演講，那時候深度學(xué)習(xí)還處于探索階段。
在 2014 年的蒙特利爾，他和團(tuán)隊（還有 Oriol Vinyals 和 Quoc Le）首次提出了如今成為 AI 領(lǐng)域基石的深度學(xué)習(xí)理念。
Ilya 展示了當(dāng)時的一張 PPT，揭示了他和團(tuán)隊的核心工作：自回歸模型、大型神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)集的結(jié)合。
在十年前，這些元素并不被廣泛看作成功的保證，而今天，它們已經(jīng)成為人工智能領(lǐng)域最重要的基礎(chǔ)。
例如在談到深度學(xué)習(xí)假設(shè)時，Ilya 強(qiáng)調(diào)了一個重要觀點(diǎn)：
如果有一個 10 層的大型神經(jīng)網(wǎng)絡(luò)，它就能在一秒鐘內(nèi)完成人類能做的任何事情。
他解釋說，深度學(xué)習(xí)的核心假設(shè)是人工神經(jīng)元與生物神經(jīng)元的相似性。基于這一假設(shè)，如果人類能夠在 0.1 秒鐘內(nèi)完成某項任務(wù)，那么同樣的任務(wù)，一個訓(xùn)練良好的 10 層神經(jīng)網(wǎng)絡(luò)也能完成。
這一假設(shè)推動了深度學(xué)習(xí)的研究，并最終實現(xiàn)了當(dāng)時看似大膽的目標(biāo)。
Ilya 還介紹了自回歸模型的核心思想：通過訓(xùn)練模型預(yù)測序列中的下一個 token，當(dāng)模型預(yù)測得足夠準(zhǔn)確時，它就能捕捉到整個序列的正確分布。
這一思想為后來的語言模型奠定了基礎(chǔ)，特別是在自然語言處理領(lǐng)域的應(yīng)用。
當(dāng)然除了“押對寶”的技術(shù)之外，也有“押錯”的。LSTM（長短期記憶網(wǎng)絡(luò)）就是其中之一。Ilya 提到 LSTM 是深度學(xué)習(xí)研究者在 Transformer 之前的主要技術(shù)之一。
盡管 LSTM 在當(dāng)時為神經(jīng)網(wǎng)絡(luò)提供了強(qiáng)大的能力，但它的復(fù)雜性和局限性也顯而易見。
另一個便是并行化（parallelization）。盡管現(xiàn)在我們知道 pipeline 并不是一個好主意，但當(dāng)時他們通過在每個 GPU 上運(yùn)行一層網(wǎng)絡(luò)，實現(xiàn)了 3.5 倍的速度提升。
Ilya 認(rèn)為，規(guī)模假設(shè)（scaling hypothesis）是深度學(xué)習(xí)成功的關(guān)鍵。
這一假設(shè)表明，如果你有一個非常大的數(shù)據(jù)集，并訓(xùn)練一個足夠大的神經(jīng)網(wǎng)絡(luò)，那么成功幾乎是可以預(yù)見的。這個觀點(diǎn)已經(jīng)成為今天深度學(xué)習(xí)領(lǐng)域的核心法則。
Ilya 進(jìn)一步闡述了連接主義的思想，認(rèn)為人工神經(jīng)元與生物神經(jīng)元之間的相似性給了我們信心，認(rèn)為即使不完全模仿人腦的結(jié)構(gòu)，巨大的神經(jīng)網(wǎng)絡(luò)也能完成與人類相似的任務(wù)。
預(yù)訓(xùn)練時代即將結(jié)束
基于上述技術(shù)的發(fā)展，也讓我們迎來了預(yù)訓(xùn)練的時代。預(yù)訓(xùn)練是推動所有進(jìn)步的動力，包括大型神經(jīng)網(wǎng)絡(luò)和大規(guī)模數(shù)據(jù)集。
但 Ilya 接下來預(yù)測說：
雖然計算能力在不斷增長，硬件和算法的進(jìn)步使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率得到了提升，但數(shù)據(jù)的增長卻已接近瓶頸。
他認(rèn)為，數(shù)據(jù)是 AI 的化石燃料，隨著全球數(shù)據(jù)的限制，未來人工智能將面臨數(shù)據(jù)瓶頸。
雖然當(dāng)前我們?nèi)匀豢梢允褂矛F(xiàn)有數(shù)據(jù)進(jìn)行有效訓(xùn)練，但 Ilya 認(rèn)為這一增長趨勢終將放緩，預(yù)訓(xùn)練的時代也會逐步結(jié)束。
超級智能將是未來
在談到未來的發(fā)展方向時，Ilya 提到了“Agent”和“合成數(shù)據(jù)”的概念。
許多專家都在討論這些話題，認(rèn)為 Agent 系統(tǒng)和合成數(shù)據(jù)將是突破預(yù)訓(xùn)練瓶頸的關(guān)鍵。
Agent 系統(tǒng)指的是能夠自主推理和決策的人工智能，而合成數(shù)據(jù)則可以通過模擬環(huán)境創(chuàng)造新的數(shù)據(jù)，彌補(bǔ)現(xiàn)實世界數(shù)據(jù)的不足。
Ilya 還引用了一個生物學(xué)上的例子，展示了哺乳動物身體與大腦大小的關(guān)系，暗示不同生物可能通過不同的“規(guī)模法則”進(jìn)化出不同的智能表現(xiàn)。
這一思想為深度學(xué)習(xí)領(lǐng)域的進(jìn)一步擴(kuò)展提供了啟示，表明人工智能也許可以通過不同的方式突破目前的規(guī)模限制。
Ilya 最后談到了超級智能的前景。
他指出，雖然當(dāng)前的語言模型和 AI 系統(tǒng)在某些任務(wù)上表現(xiàn)出超人類的能力，但它們在推理時仍顯得不穩(wěn)定和不可預(yù)測。
推理越多，系統(tǒng)變得越不可預(yù)測，這一點(diǎn)在一些復(fù)雜任務(wù)中表現(xiàn)得尤為突出。
他還提到：
目前的 AI 系統(tǒng)還不能真正理解和推理，雖然它們能模擬人類的直覺，但未來的 AI 將會在推理和決策方面展現(xiàn)出更加不可預(yù)測的能力。
Ilya 進(jìn)一步推測，未來的 AI 將不僅僅是執(zhí)行任務(wù)的工具，而會發(fā)展成“Agent”，能夠自主進(jìn)行推理和決策，甚至可能具備某種形式的自我意識。
這將是一個質(zhì)的飛躍，AI 將不再是人類的延伸，而是一個具有獨(dú)立智能的存在。
參考鏈接：
https://x.com/vincentweisser/status/1867719020444889118
本文來自微信公眾號：量子位（ID：QbitAI），作者：金磊，原標(biāo)題《Ilya 宣判：預(yù)訓(xùn)練即將終結(jié)！NeurIPS 現(xiàn)場沸騰》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。