新智元報(bào)道
編輯：潤(rùn)
【新智元導(dǎo)讀】被評(píng)為「2023 年 10 大科學(xué)人物」的 Ilya Sutskever，曾經(jīng)多次強(qiáng)調(diào)：只要能夠非常好地預(yù)測(cè)下一個(gè) token，就能幫助人類達(dá)到 AGI。
近日，Nature 將前 OpenAI 首席科學(xué)家 Ilya Sutskever 評(píng)為「2023 年 10 大科學(xué)人物」。
這位剛剛因?yàn)?OpenAI 巨變而遠(yuǎn)離聚光燈的「AI 技術(shù)燈塔」，似乎并沒(méi)有做好準(zhǔn)備回到公眾視野之中。
Nature 在介紹他的長(zhǎng)文中說(shuō)「Ilya 拒絕了 Nature 在 OpenAI 的劇變后對(duì)他的采訪」。而他自己的推特也沒(méi)有轉(zhuǎn)發(fā)自己獲評(píng) Nature 年度人物的消息。
但是 Nature 依然在文章中高度評(píng)價(jià)了 Ilya 對(duì)于 ChatGPT 的貢獻(xiàn)，稱他為 AI 預(yù)言家。
在 Ilya 看來(lái)，人工智能有能力改變整個(gè)人類文明的存在方式，而不是像 OpenAI 出現(xiàn)之前那樣，只是幫人類解決一些小問(wèn)題。
「只要能夠非常好地預(yù)測(cè)下一個(gè) token，就能幫助人類達(dá)到 AGI。」
這是他在不同場(chǎng)合都表達(dá)過(guò)的觀點(diǎn)。
在一個(gè)播客中，Ilya 詳細(xì)闡述了他為什么認(rèn)為像大語(yǔ)言模型這樣本質(zhì)上只是預(yù)測(cè)下一字符是什么的工具，能夠產(chǎn)生超過(guò)人類智慧總和的智能。
Ilya 解釋到，「很多人認(rèn)為，大模型只是通過(guò)像統(tǒng)計(jì)學(xué)一樣的方式來(lái)模仿人類現(xiàn)有的知識(shí)和能力，沒(méi)有辦法超越人類?！?/p>
「但是如果你的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)足夠聰明，你只需問(wèn)它 —— 一個(gè)具有偉大洞察力、智慧和能力的人會(huì)做什么？也許這樣的人并不存在，但神經(jīng)網(wǎng)絡(luò)很有可能能夠推斷出這樣的人的行為方式。
那么 AGI 的任務(wù)就變成預(yù)測(cè)這樣一個(gè)人可能的行為方式了。
足夠好地預(yù)測(cè)下一個(gè)字符意味著什么？這實(shí)際上是一個(gè)比問(wèn)題字面意思看起來(lái)更深層次的問(wèn)題。
很好地預(yù)測(cè)下一個(gè) token 意味著你了解導(dǎo)致這個(gè) token 創(chuàng)建的潛在實(shí)例。
就像統(tǒng)計(jì)學(xué)一樣，為了理解這些統(tǒng)計(jì)數(shù)據(jù)并對(duì)其進(jìn)行壓縮，你需要了解創(chuàng)建這組統(tǒng)計(jì)數(shù)據(jù)的世界是什么？
而如果 AGI 是要非常準(zhǔn)確地預(yù)測(cè)人的行為，人們的行為是由什么決定的？每個(gè)人都有自己的想法和感受，并以特定的方式做事。
所有這些都可以從下一個(gè) token 的預(yù)測(cè)中推斷出來(lái)。
我認(rèn)為只要能很好地預(yù)測(cè)下一個(gè) token，AI 就能猜出一個(gè)具有這種具有偉大洞察力、智慧和能力的人會(huì)做什么，即使這樣的人不存在?！?/p>
如何成為一個(gè)像你這樣在自己研究的領(lǐng)域取得如此之大的突破的科學(xué)家？
「我真的很努力，我付出了我所擁有的一切，到目前為止，我的努力都得到了回報(bào)。我想這就是全部的原因了?！?/p>
到 2030 年，AI 能產(chǎn)生多大的經(jīng)濟(jì)價(jià)值？
「很難回答這個(gè)問(wèn)題，我覺(jué)得會(huì)很多。但是沒(méi)有辦法給一個(gè)準(zhǔn)確的數(shù)字。
但是如果問(wèn)到 2030 年，如果 AI 沒(méi)有產(chǎn)生太大的經(jīng)濟(jì)價(jià)值，那么最可能的原因是什么？我覺(jué)得是可靠性」
我們離 AGI 還有多遠(yuǎn)？
這是個(gè)很難回答的問(wèn)題，我不確定是否可以給出一個(gè)具體的數(shù)字。
因?yàn)槟切?duì)這項(xiàng)技術(shù)充滿樂(lè)觀的研究者們往往會(huì)低估實(shí)現(xiàn)目標(biāo)所需的時(shí)間。
我讓自己保持腳踏實(shí)地思考這個(gè)問(wèn)題的方法，是觀察自動(dòng)駕駛的發(fā)展。比如看看特斯拉在自動(dòng)駕駛方面的進(jìn)展，我們可以看到他幾乎能做到自動(dòng)駕駛要求的任何行為了。
然而，同樣明顯的是，特斯拉在可靠性方面還有很長(zhǎng)的路要走。
我們的模型可能也處于類似的階段：看似能夠處理所有問(wèn)題，但直到我們解決所有挑戰(zhàn)并確保它的可靠性、穩(wěn)定性和良好表現(xiàn)之前，都很難說(shuō)我們達(dá)到 AGI 了。
在達(dá)到 AGI 之前，你覺(jué)得我們還需要有想 Transformer 這種突破出現(xiàn)嗎？還是現(xiàn)有的技術(shù)已經(jīng)能讓我們達(dá)到 AGI 了？
技術(shù)發(fā)展可能是一個(gè)漸進(jìn)的過(guò)程，之所以 Transformer 是被認(rèn)為是一個(gè)突破，其實(shí)因?yàn)樗鼛缀鯇?duì)所有人來(lái)說(shuō)都不是顯而易見(jiàn)的。
所以人們會(huì)覺(jué)得事物。讓我們來(lái)考慮深度學(xué)習(xí)的最根本進(jìn)步：一個(gè)大型神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)反向傳播訓(xùn)練后可以做很多事情。新穎之處在哪里呢？
不在于神經(jīng)網(wǎng)絡(luò)，也不在于反向傳播。但它無(wú)疑是一個(gè)巨大的概念性突破，因?yàn)殚L(zhǎng)期以來(lái)，人們根本沒(méi)有意識(shí)到這一點(diǎn)。
但現(xiàn)在，既然每個(gè)人都看到了，大家就會(huì)說(shuō) —— 當(dāng)然，這非常明顯。
但其實(shí)它也同樣是一個(gè)很重要的突破。
現(xiàn)在不同的公司分頭發(fā)展自己的模型，未來(lái)不同的模型和技術(shù)會(huì)相互獨(dú)立還是走到某一個(gè)共同的點(diǎn)嗎？
我預(yù)計(jì)眾多研究和工作都朝著相似的方向發(fā)展。
隨后，長(zhǎng)期工作中會(huì)出現(xiàn)一些分歧，意味著不同的研究小組或者項(xiàng)目會(huì)選擇不同的路徑和方法。
但是，一旦這些長(zhǎng)期的工作開(kāi)始顯現(xiàn)成果，這個(gè)領(lǐng)域又會(huì)重新趨向于收斂，即多個(gè)研究路徑可能會(huì)再次匯聚到類似的結(jié)果或理論上。
作者還提到，目前發(fā)表的文章數(shù)量有所減少，這可能意味著重新發(fā)現(xiàn)和探索這個(gè)領(lǐng)域的有希望的方向需要更長(zhǎng)的時(shí)間。
OpenAI 為什么放棄了機(jī)器人的方向？
「過(guò)去，從事機(jī)器人技術(shù)的難點(diǎn)在于數(shù)據(jù)量太少，這使得發(fā)展很受限。
以前，要進(jìn)入這個(gè)領(lǐng)域，必須加入一家專門(mén)的機(jī)器人公司，而且還需要一個(gè)龐大的團(tuán)隊(duì)來(lái)構(gòu)建和維護(hù)機(jī)器人。
即便擁有上百個(gè)機(jī)器人，也難以獲得足夠的數(shù)據(jù)。因?yàn)闄C(jī)器人技術(shù)的進(jìn)步很大程度上取決于計(jì)算能力和數(shù)據(jù)的結(jié)合，所以數(shù)據(jù)的缺乏成了一大障礙。
現(xiàn)在的情況有所不同，已經(jīng)存在開(kāi)辟新道路的可能性。
但這需要人們真正投入到機(jī)器人技術(shù)的研發(fā)中。
這意味著建造成千上萬(wàn)的機(jī)器人，從它們那里收集數(shù)據(jù)，并找到一種逐步改進(jìn)的方法，讓機(jī)器人能夠執(zhí)行一些基本有用的任務(wù)。
隨著數(shù)據(jù)的積累，可以訓(xùn)練出更加高效的模型，使機(jī)器人能夠執(zhí)行更復(fù)雜的任務(wù)。
這是一個(gè)循序漸進(jìn)的改進(jìn)過(guò)程，需要建造更多機(jī)器人，收集更多數(shù)據(jù)。
為了實(shí)現(xiàn)機(jī)器人技術(shù)的發(fā)展，必須全身心投入，并愿意解決所有相關(guān)的物理和后勤問(wèn)題。
這與純粹的軟件開(kāi)發(fā)完全不同。只要有足夠的努力和熱情，機(jī)器人技術(shù)是有可能取得重大進(jìn)步的，而且已經(jīng)有一些公司在這方面做出了努力。」
參考資料：
https://www.youtube.com/watch?v=YEUclZdj_Sc
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。