連發(fā) 13 條推文！OpenAI 超級對齊負(fù)責(zé)人 Jan Leike，也就是剛剛追隨 Ilya 離開公司的那位，自曝離職的真正原因，以及更多內(nèi)幕。
一來算力不夠用，承諾給超級對齊團(tuán)隊(duì)的 20% 缺斤少兩，導(dǎo)致團(tuán)隊(duì)逆流而行，但也越來越困難。
二來安全不重視，對 AGI 的安全治理問題，優(yōu)先級不如推出“閃亮的產(chǎn)品”。
緊接著，更多的八卦被其他人挖出來。比如 OpenAI 離職成員都要簽一份協(xié)議，保證離職后不在外說 OpenAI 壞話，不簽的話視為自動放棄公司股份。
但仍然有拒不簽署的硬骨頭出來放猛料（笑死），說核心領(lǐng)導(dǎo)層對安全問題優(yōu)先級的分歧由來已久。
去年宮斗至今，兩派的觀念沖突到達(dá)了臨界點(diǎn)，這才看上去頗為體面地崩了。
因此，盡管阿爾特曼已經(jīng)派了聯(lián)合創(chuàng)始人來接管超級對齊團(tuán)隊(duì)，仍舊不被外界看好。
沖在最一線的推特網(wǎng)友們感謝 Jan 有勇氣說出這個(gè)驚人大瓜，并感嘆：
我勒個(gè)去，看來 OpenAI 真的不太注重這個(gè)安全性！
不過回過頭來，如今執(zhí)掌 OpenAI 的阿爾特曼這邊，暫時(shí)還坐得住。
他站出來感謝了 Jan 對 OpenAI 超級對齊和安全方面的貢獻(xiàn)，表示 Jan 離開，他其實(shí)很難過、很舍不得。
當(dāng)然了，重點(diǎn)其實(shí)是這一句：
等著，過兩天我會發(fā)一篇比這更長的推文。
承諾的 20% 算力居然有畫大餅成分
從去年 OpenAI 宮斗到現(xiàn)在，靈魂人物、前首席科學(xué)家 Ilya 就幾乎不再公開露面、公開發(fā)聲。
在他公開宣稱離職前，就已經(jīng)眾說紛紜。很多人認(rèn)為 Ilya 看到了一些可怕的事情，比如可能毀滅人類的 AI 系統(tǒng)啥的。
△ 網(wǎng)友：我每天醒來第一件事就是想 Ilya 看到了啥
這次 Jan 算是攤開了說，核心原因就是技術(shù)派和市場派對安全方面的優(yōu)先等級產(chǎn)生了不同看法。
分歧很嚴(yán)重，目前后果嘛…… 大家也都看到了。
據(jù) Vox 報(bào)道，熟悉 OpenAI 的消息人士透露，更注重安全的員工已經(jīng)對阿爾特曼失去了信心，“這是一個(gè)信任一點(diǎn)一點(diǎn)崩潰的過程”。
但如你所見，在公開平臺和場合，沒有太多離職員工愿意公開談?wù)摯耸隆?/p>
一部分原因是 OpenAI 一直以來，都有讓員工簽署帶有非貶低協(xié)議的離職協(xié)議的傳統(tǒng)。如果拒絕簽署，就等于放棄了此前拿到的 OpenAI 的期權(quán)，這意味著出來說話的員工可能會損失一筆巨款。
然而，多米諾骨牌還是一張接一張的倒下了 ——
Ilya 的辭職加劇了 OpenAI 近期的離職潮。
緊隨其后宣布離職的，除了超級對齊團(tuán)隊(duì)負(fù)責(zé)人 Jan 以外，目前有至少五個(gè)安全團(tuán)隊(duì)成員離職。
其中還有個(gè)沒簽署非貶低協(xié)議的硬骨頭，Daniel Kokotajlo（以下簡稱 DK 哥）。
△ 去年 DK 哥寫道，他認(rèn)為 AI 發(fā)生生存災(zāi)難的可能性為 70%
DK 哥在 2022 年加入 OpenAI，在治理團(tuán)隊(duì)工作，主要工作內(nèi)容是引導(dǎo) OpenAI 安全部署 AI。
但他也在近期辭職了，并且對外接受了采訪：
OpenAI 正在訓(xùn)練更強(qiáng)大的 AI 系統(tǒng)，目標(biāo)是最終全面超越人類智能。
這可能是人類有史以來發(fā)生過的最好的事情，但如果我們不小心行事，也可能是最糟糕的事情。
DK 哥闡述，當(dāng)年，他加入 OpenAI，滿懷對安全治理的抱負(fù)和希望，期望 OpenAI 越靠近 AGI 能越負(fù)責(zé)任。但團(tuán)隊(duì)中許多人慢慢意識到，OpenAI 不會這樣了。
「逐漸對 OpenAO 領(lǐng)導(dǎo)層以及他們負(fù)責(zé)地處理 AGI 的能力失去了信心」，這就是 DK 哥辭職的原因。
對未來 AGI 安全工作的失望，是 Ilya 加劇的離職潮中眾人離開的一部分原因。
還有一部分原因，是超級對齊團(tuán)隊(duì)，恐怕沒有外界想象的那樣能資源充沛地進(jìn)行研究。
即便超級對齊團(tuán)隊(duì)滿負(fù)荷工作，團(tuán)隊(duì)也只能獲得 OpenAI 承諾的 20% 的算力。
而且團(tuán)隊(duì)的一些請求經(jīng)常被拒絕。
當(dāng)然是因?yàn)樗懔Y源對 AI 公司來說重要至極，每一點(diǎn)都要合理分配；也因?yàn)槌墝R團(tuán)隊(duì)的工作是“解決如果公司成功構(gòu)建 AGI，實(shí)際上會出現(xiàn)不同類型的安全問題”。
換句話說，超級對齊團(tuán)隊(duì)對應(yīng)的是 OpenAI 需要面臨的未來的安全問題 —— 劃重點(diǎn)，是未來的、不知是否會出現(xiàn)的。
截至發(fā)稿，阿爾特曼還沒有發(fā)出他那篇“（比 Jan 爆料內(nèi)幕的）更長的推文”。
但他簡單提到，Jan 對安全問題的擔(dān)憂是對的，“我們還有很多事情要做；我們也致力于這樣做?！?/strong>
就這一點(diǎn)，大伙兒可以先辦個(gè)小板凳等等，到時(shí)候咱一起第一時(shí)間吃瓜。
綜上，現(xiàn)在超級對齊團(tuán)隊(duì)走了好些人，尤其是 Ilya 和 Jan 的離職，讓這個(gè)風(fēng)雨之中的團(tuán)隊(duì)面臨群龍無首的窘?jīng)r。
后續(xù)安排，是聯(lián)合創(chuàng)始人 John Schulma 來接手，但不再有專門的團(tuán)隊(duì)。
新的超級對齊團(tuán)隊(duì)將是聯(lián)系更松散的小組，成員分布在整個(gè)公司的各個(gè)部門，OpenAI 發(fā)言人將其描述為“更深入地整合”。
這一點(diǎn)也為外界所質(zhì)疑，因?yàn)?John 的原本全職工作是確保目前的 OpenAI 產(chǎn)品的安全問題。
不知道突然多了份責(zé)任后，John 能不能忙得過來，好好領(lǐng)導(dǎo)關(guān)注現(xiàn)在和關(guān)注未來安全問題的兩個(gè)團(tuán)隊(duì)？
Ilya-Altman 之爭
如果把時(shí)間陣線拉長，其實(shí)今天的分崩離析是 OpenAI“宮斗”Ilya-Altman 之爭的續(xù)集。
時(shí)間回溯到去年 11 月，當(dāng)時(shí) Ilya 還在，他同 OpenAI 董事會合作試圖解雇掉阿爾特曼。
當(dāng)時(shí)給出的理由是，他在溝通中不夠真誠。換言之，我們不信任他。
但最終結(jié)果顯而易見，阿爾特曼帶著他的“盟友”威脅加入微軟，結(jié)果董事會屈服，罷免行動失敗。Ilya 離開董事會。而阿爾特曼這邊，選擇了對他更為有利的成員加入董事會。
在這之后，Ilya 就再也社交平臺上消失了，直至前幾天官宣離職。而且據(jù)說，已經(jīng)大約 6 個(gè)月沒有出現(xiàn)在 OpenAI 辦公室了。
當(dāng)時(shí)他還留下一條耐人尋味的推文，但很快就刪除了。
在過去的一個(gè)月里，我吸取了許多教訓(xùn)。其中一個(gè)教訓(xùn)是，“在士氣提高之前，毆打會一直持續(xù)下去 ”這句話比它應(yīng)有的含義更經(jīng)常地適用。
但據(jù)內(nèi)部人士透露，Ilya 一直遠(yuǎn)程共同領(lǐng)導(dǎo)著超級對齊團(tuán)隊(duì)。
而在阿爾特曼這邊，員工們對他最大的指控就是言行不一，比如他聲稱自己想優(yōu)先考慮安全，但他的行為卻很矛盾。
除了原本承諾的計(jì)算資源沒有給到外。還有像前陣子找沙特等籌集資金來造芯。
那些注重安全的員工懵了。
如果他真的關(guān)心以盡可能安全的方式構(gòu)建和部署人工智能，那么就不會這么瘋狂地積累芯片，來加速技術(shù)的發(fā)展？
更早之前，OpenAI 還從一家阿爾特曼投資的一家初創(chuàng)公司訂購芯片。金額高達(dá) 5100 萬美元（約合人民幣 3.6 億元）。
而當(dāng)時(shí)宮斗那幾天 OpenAI 前員工的舉報(bào)信中，對于阿爾特曼的描述似乎也再一次印證。
也正因這樣從始至終“言行不一”的操作，讓員工們逐漸對 OpenAI 以及阿爾特曼失去信心。
Ilya 是這樣，Jan Laike 是這樣，超級對齊團(tuán)隊(duì)也是這樣。
有貼心的網(wǎng)友整理出這幾年間，發(fā)生的相關(guān)事情的重要節(jié)點(diǎn) —— 先來個(gè)貼心提示，下文提到的 P（doom），指“AI 引發(fā)世界末日場景的可能性”。
2021 年，GPT-3 團(tuán)隊(duì)負(fù)責(zé)人因“安全”問題離開 OpenAI，創(chuàng)立 Anthropic；其中一位認(rèn)為 P（doom）為 10-25%；
2021 年，RLHF 安全研究負(fù)責(zé)人離職，P（doom）為 50%；
2023 年，OpenAI 董事會解雇阿爾特曼；
2024 年，OpenAI 解雇兩位安全研究員；
2024 年，一位特別關(guān)注安全的 OpenAI 研究員離職，他認(rèn)為 P（doom）已經(jīng)在 70%。
2024 年，Ilya、JAN Laike 離職。
技術(shù)派還是市場派？
大模型發(fā)展至今，「如何實(shí)現(xiàn) AGI？」其實(shí)可歸結(jié)為兩條路線。
技術(shù)派希望技術(shù)成熟可控再應(yīng)用；市場派則認(rèn)為邊開放邊應(yīng)用“漸進(jìn)式”走到終點(diǎn)。
這也是 Ilya-Altman 之爭的根本分歧，即 OpenAI 的使命：
是專注于 AGI 和超級對齊，還是專注于擴(kuò)展 ChatGPT 服務(wù)？
ChatGPT 服務(wù)規(guī)模越大，意味著需要的計(jì)算量越大；這也就會占用 AGI 安全研究的時(shí)間。
如果 OpenAI 是個(gè)致力于研究的非盈利組織，他們應(yīng)該將更多時(shí)間花費(fèi)在超級對齊上。
而從 OpenAI 對外的一些舉措來看，結(jié)果顯然不是，他們只是想要在大模型這個(gè)競爭中拔得頭籌，為企業(yè)和消費(fèi)者提供更多的服務(wù)。
這在 Ilya 看來，這是件非常危險(xiǎn)的事情。即便我們不清楚隨著規(guī)模的擴(kuò)大會發(fā)生什么，但在 Ilya 看來，最好的辦法就是安全第一。
開放和透明，這樣我們?nèi)祟惒拍艽_保安全地構(gòu)建 AGI，而不是以某種隱秘的方式。
但在阿爾特曼帶領(lǐng)之下 OpenAI，似乎既不追求開源，也不追求超級對齊。相反，它一心只想朝著 AGI 的方向狂奔，同時(shí)試圖建立一條護(hù)城河。
那么最后 AI 科學(xué)家 Ilya 的選擇正確，還是硅谷商人阿爾特曼能走到最后呢？
現(xiàn)在還無從得知。但至少 OpenAI 現(xiàn)在面臨著關(guān)鍵抉擇。
有業(yè)內(nèi)人士總結(jié)了兩個(gè)關(guān)鍵信號，一個(gè)是 ChatGPT 是 OpenAI 主要收入，如果沒有更好的模型支撐，就不會免費(fèi)向所有人提供 GPT-4；
另一個(gè)則是如果離職的團(tuán)隊(duì)成員（Jan、Ilya 等）不擔(dān)心很快會有更強(qiáng)大的功能，他們就不會關(guān)心對齊的問題…… 如果 AI 停留在這個(gè)水平上，基本上也無所謂。
但 OpenAI 的根本矛盾沒有得到解決，一邊是盜火一樣的 AI 科學(xué)家對負(fù)責(zé)任發(fā)展 AGI 的憂慮，另一邊則是硅谷市場派對于用商業(yè)化方式推動技術(shù)可持續(xù)的急迫。
兩方已經(jīng)不可調(diào)和，科學(xué)派正在完全出局 OpenAI，而外界至今也不知道，GPT 究竟到哪一步了？
迫切想要知道這個(gè)問題答案的吃瓜群眾都有點(diǎn)累了。
一種無力感涌上心頭，就像 Ilya 的老師、圖靈獎(jiǎng)三巨頭之一 Hinton 說的那樣：
我老了，我擔(dān)憂，但我無能為力了。
參考鏈接：
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。