千人簽名的 AI 不擴(kuò)散條約發(fā)布一天后，各路大佬紛紛有了后續(xù)回應(yīng)，言談間耐人尋味?！窤I 吹哨人」：不封殺超強(qiáng) AI 研發(fā)，我們都得死！
昨天，千位大佬寫的暫停超強(qiáng) AI 訓(xùn)練六個月的聯(lián)名信，如同一枚炸彈一般，在國內(nèi)外的互聯(lián)網(wǎng)上炸響。
經(jīng)過了一天的唇槍舌劍，幾位關(guān)鍵人物以及其他各路大牛，都紛紛出來公開回應(yīng)。
有的非常官方，有的十分個性，也有人并沒有直面問題。但有一點(diǎn)可以肯定，不論這些大佬自己的觀點(diǎn)，還是背后所代表的利益集團(tuán)，都值得細(xì)品。
有趣的是，在圖靈三巨頭中，一位帶頭簽名，一位強(qiáng)烈反對，還有一位不發(fā)一言。
吳恩達(dá)（反對派）
此次事件中，前谷歌大腦成員、在線教育平臺 Coursera 創(chuàng)始人吳恩達(dá)是旗幟鮮明的反對派。
他明確亮出了自己的態(tài)度：把「讓 AI 取得超越 GPT-4 的進(jìn)展」暫停 6 個月，這個想法很糟糕。
他表示，自己已經(jīng)在教育、醫(yī)療保健、食品等領(lǐng)域看到了許多新的 AI 應(yīng)用，許多人將因此受益。而改進(jìn) GPT-4 也會有好處。
我們該做的，應(yīng)該是在 AI 創(chuàng)造的巨大價值與現(xiàn)實(shí)風(fēng)險之間，取得一個平衡。
對于聯(lián)名信中提到的「如果不能迅速暫停對超強(qiáng) AI 的訓(xùn)練，就應(yīng)該讓政府介入」，吳恩達(dá)也表示這種想法很糟糕。
他表示，讓政府暫停他們不了解的新興技術(shù)是反競爭的，這樹立了一個糟糕的先例，是一個很可怕的政策創(chuàng)新。
他承認(rèn)，負(fù)責(zé)任的 AI 很重要，AI 也的確有風(fēng)險。
但媒體渲染的「AI 公司正在瘋狂發(fā)布危險的代碼」，顯然是太夸張了。絕大多數(shù) AI 團(tuán)隊(duì)，都非常重視負(fù)責(zé)任的 AI 和安全。不過他也承認(rèn)，「遺憾的是，不是全部」。
最后他再次強(qiáng)調(diào)：
6 個月的暫停期，不是一個切實(shí)可行的建議。為了提高人工智能的安全性，圍繞透明度和審計(jì)的法規(guī)將更加實(shí)用，并產(chǎn)生更大的影響。在我們推進(jìn)技術(shù)的同時，讓我們也更多地投資于安全，而不是扼殺進(jìn)步。
而他的推特下面，已經(jīng)網(wǎng)友表示強(qiáng)烈反對：大佬之所以云淡風(fēng)輕，大概是因?yàn)槭I(yè)的痛苦不會落到他們頭上。
LeCun（反對派）
聯(lián)名信一發(fā)出，就有網(wǎng)友奔走相告：圖靈獎巨頭 Bengio 和 LeCun 都在信上簽了名！
而時時沖浪在網(wǎng)絡(luò)第一線的 LeCun，立馬辟謠：沒，我沒簽，我不同意這封信的前提。
有網(wǎng)友表示，我也不同意這封信，但我很好奇：你不同意這封信的原因，是覺得 LLM 不夠先進(jìn)，根本威脅不到人類嗎，還是其他原因？
但 LeCun 對于這些問題，都沒有回答。
在謎一般地沉默了 20 小時后，LeCun 忽然轉(zhuǎn)發(fā)了一位網(wǎng)友的推文：
「OpenAI 足足等了 6 個月，才發(fā)布了 GPT4！他們甚至為此還寫了一份白皮書....」
對此，LeCun 大贊道：說得對，所謂「暫停研發(fā)」，不過就是「秘密研發(fā)」罷了，這與一些簽名者所希望的恰恰完全相反。
看來，什么都瞞不過 LeCun 的慧眼啊。
之前提問的網(wǎng)友也表示同意：這就是我什么反對這個請?jiān)笗脑?—— 沒有哪個「壞人」會真正停止。
「所以這就像一項(xiàng)沒有人遵守的武器條約？歷史上這樣的例子不多嗎？」
過一會，他又轉(zhuǎn)發(fā)了一位大佬的推特。
這位大佬說，「我也沒簽。這封信充斥著一堆可怕的修辭和無效 / 不存在的政策處方?！?LeCun 說，「我同意」。
Bengio 和 Marcus（贊成派）
公開信署名的第一位大佬，便是赫赫有名的圖靈獎得主 Yoshua Bengio。
當(dāng)然了，紐約大學(xué)教授馬庫斯也投了贊成票。他似乎是最早曝光這次公開信的人。
而討論聲逐漸喧囂之后，他也火速發(fā)了一篇博客解釋自己的立場，依然充滿亮點(diǎn)。
突發(fā)新聞：我之前提到的那封信現(xiàn)在公開了。這封信呼吁暫?！副?GPT-4 更強(qiáng)大」的 AI 的訓(xùn)練 6 個月。許多知名人士簽了名。我也加入了。
我沒有參與起草它，因?yàn)檫€有一些別的事需要大驚小怪（例如，比 GPT-4 更強(qiáng)大的 AI，究竟是指哪些 AI？既然 GPT-4 的架構(gòu)或訓(xùn)練集的細(xì)節(jié)還沒公布，那我們從何得知呢？)—— 但這封信的精神是我所支持的：在我們能更好地處理風(fēng)險和收益之前，我們應(yīng)該謹(jǐn)慎行事。
看看接下來會發(fā)生什么，將會非常有趣。
而剛剛馬庫斯表示百分之百贊同的另一個觀點(diǎn)，也非常有趣，這一觀點(diǎn)稱：
GPT-5 不會是 AGI。幾乎可以肯定，沒有 GPT 模型會是 AGI。我們今天使用的方法（梯度下降）優(yōu)化的任何模型完全不可能成為 AGI。即將問世的 GPT 模型肯定會改變世界，但過度炒作是瘋狂的。
Altman（不置可否）
截至目前，對于這封公開信，Sam Altman 并未作出明確表態(tài)。
不過呢，他倒是發(fā)表了一些關(guān)于通用人工智能的觀點(diǎn)。
構(gòu)成好的通用人工智能的要素：
1.對齊超級智能的技術(shù)能力
2.大多數(shù)領(lǐng)先的 AGI 工作之間的充分協(xié)調(diào)
3. 一個有效的全球監(jiān)管框架
有網(wǎng)友質(zhì)疑：「與什么對齊？和誰對齊？與某些人對齊，就意味著與另外一些人不對齊?！?/p>
這個評論亮了：「那你倒是讓它 Open 啊?！?/p>
而 OpenAI 的另一位創(chuàng)始人 Greg Brockman 轉(zhuǎn)發(fā)了 Altman 的推文，再次強(qiáng)調(diào) OpenAI 的使命「是確保 AGI 惠及全人類?！?/p>
再次有網(wǎng)友指出華點(diǎn)：你們這些大佬整天說「與設(shè)計(jì)者的意圖對齊」，但除此之外誰都不知道究竟對齊是指什么。
Yudkowsky（激進(jìn)派）
還有一位名叫 Eliezer Yudkowsky 的決策理論家，態(tài)度更為激進(jìn)：
暫停 AI 開發(fā)是不夠的，我們需要把 AI 全部關(guān)閉！全部關(guān)閉！
如果繼續(xù)下去，我們每個人都會死。
公開信一發(fā)布，Yudkowsky 立馬寫了一篇長文發(fā)表于 TIME 雜志上。
他表示，自己沒有簽字，原因是在他看來，這封信太溫和了。
這封信低估了事態(tài)的嚴(yán)重性，要求解決的問題太少了。
他說，關(guān)鍵問題并不在于「與人類競爭」的智能，很顯然，當(dāng) AI 變得比人更聰明，這一步是顯然的。
關(guān)鍵在于，包括他在內(nèi)的許多研究人員都認(rèn)為，構(gòu)建一個擁有超人智慧的 AI 最有可能導(dǎo)致的后果就是，地球上的每個人都會死去。
不是「或許可能」，而是「必然會」。
如果沒有足夠的精確度，最有可能的結(jié)果就是，我們造出的 AI 不會做我們想做的事，也不會關(guān)心我們，也不會關(guān)心其他有知覺的生命。
理論上，我們應(yīng)該可以教會 AI 學(xué)會這種關(guān)懷，但現(xiàn)在我們并不知道該怎么做。
如果沒有這種關(guān)懷，我們得到的結(jié)果就是：AI 不愛你，也不恨你，你只是一堆原子組成的材料，它可以拿來做任何事。
而如果人類想要反抗超人 AI，必然會失敗，就好比「11 世紀(jì)試圖打敗 21 世紀(jì)」，「南方古猿試圖打敗智人」。
Yudkowsky 表示，我們想象中會做壞事的 AI，就是一個住在互聯(lián)網(wǎng)上、每天給人類發(fā)送惡意郵件的思想家，但實(shí)際上，它可能是一個充滿敵意的超人 AI，一個思考速度數(shù)百萬倍于人類的外星文明，在它看來，人類很愚蠢，很緩慢。
當(dāng)這個 AI 足夠智能后，它不會只待在計(jì)算機(jī)中。它可以把 DNA 序列通過郵件發(fā)給實(shí)驗(yàn)室，實(shí)驗(yàn)室將按需生產(chǎn)蛋白質(zhì)，然后 AI 就擁有了生命形式。隨后，地球上的所有生物都會死亡。
這種情況下，人類該如何生存？目前我們毫無計(jì)劃。
OpenAI 只是公開呼吁，未來的 AI 需要對齊。而另一個領(lǐng)先的 AI 實(shí)驗(yàn)室 DeepMind，根本沒有任何計(jì)劃。
不管 AI 有沒有意識，這些危險都存在。它強(qiáng)大的認(rèn)知系統(tǒng)可以努力優(yōu)化，并計(jì)算滿足復(fù)雜結(jié)果的標(biāo)準(zhǔn)輸出。
的確，當(dāng)前的 AI 可能只是從訓(xùn)練數(shù)據(jù)中模仿了自我意識。但我們實(shí)際上對這些系統(tǒng)的內(nèi)部結(jié)構(gòu)知之甚少。
如果我們依然對 GPT-4 無知，并且 GPT-5 進(jìn)化出了驚人的能力，就像從 GPT-3 到 GPT-4 一樣，那我們很難知道，究竟是人類創(chuàng)造了 GPT-5，還是 AI 自己。
在 2 月 7 號，微軟 CEO 納德拉還幸災(zāi)樂禍地公開表示，新必應(yīng)逼得谷歌只能「出來跳一段舞」了。
他的行為很不理智。
早在 30 年前，我們就該思考這個問題了，6 個月并不足以彌合差距。
從 AI 的概念提出到今天，已經(jīng)有 60 多年了。我們應(yīng)該至少用 30 年來保證超人 AI「不會殺死任何一個人」。
我們根本無法從錯誤中吸取教訓(xùn)，因?yàn)橐坏╁e了，你就已經(jīng)死了。
如果暫停 6 個月，就能讓地球存活下來，我會贊同，但并不會。
我們要做的事情，是這些：
1. 新的大語言模型的訓(xùn)練不僅要無限期暫停，還要在全球范圍內(nèi)實(shí)施。
而且不能有任何例外，包括政府或軍隊(duì)。
2. 關(guān)閉所有大型 GPU 集群，這些都是訓(xùn)練最強(qiáng)大 AI 的大型計(jì)算設(shè)施。
暫停所有正在訓(xùn)練大型 AI 的模型，為所有人在訓(xùn)練 AI 系統(tǒng)時使用的算力設(shè)置上限，并在未來幾年逐漸降低這個上限，以補(bǔ)償更高效的訓(xùn)練算法。
政府和軍隊(duì)也不例外，立即制定多國協(xié)議，以防止被禁行為轉(zhuǎn)移到其他地方。
追蹤所有售出的 GPU，如果有情報(bào)顯示協(xié)議之外的國家正在建設(shè) GPU 集群，應(yīng)該通過空襲摧毀這家違規(guī)的數(shù)據(jù)中心。
比起國家間的武裝沖突，更應(yīng)該擔(dān)心的是暫停被違反。不要把任何事情都看作是國家利益之間的沖突，要清楚任何談?wù)撥妭涓傎惖娜硕际巧底印?/p>
在這方面，我們所有人要么共存，要么共亡，這不是政策，而是一項(xiàng)自然事實(shí)。
由于簽名太過火爆，團(tuán)隊(duì)決定暫停先暫停顯示，以便讓審核可以跟上。（名單頂部的簽名都是直接經(jīng)過驗(yàn)證的）
參考資料：
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
https://twitter.com/AndrewYNg/status/1641121451611947009
https://garymarcus.substack.com/p/a-temporary-pause-on-training-extra
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。