OpenAI 內(nèi)斗「第二彈」來了？外媒驚曝，OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)關(guān)鍵人物忽然被解雇了，理由是有泄密行為。而且，此人還是 Ilya 的重要盟友和親信。而身處風(fēng)暴中心的 Ilya，依然未曾露面……
驚天大瓜！
據(jù)外媒報(bào)道，OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)的 2 名研究員，因泄露「機(jī)密」被正式開除！而這也是今年 3 月 Sam Altman 重掌董事會(huì)席位后，OpenAI 首次對(duì)外公開的人事變動(dòng)。
被解雇的研究員之一 Leopold Aschenbrenner，曾在新成立的超級(jí)對(duì)齊團(tuán)隊(duì)工作。同時(shí)，他也是 OpenAI 首席科學(xué)家 Ilya Sutskever 的支持者，OpenAI 內(nèi)斗風(fēng)波后，Ilya 至今尚未在公開場(chǎng)合露面。
另一位被解雇的員工 Pavel Izmailov，曾負(fù)責(zé)推理方面的研究，在安全團(tuán)隊(duì)亦有貢獻(xiàn)。
值得一提的是，被解雇的這倆人，都是去年 OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)新論文的作者。
不過，目前尚不清楚，兩位被解雇員工具體泄露了哪些信息。
團(tuán)隊(duì)關(guān)鍵人物開除為哪般
OpenAI 的發(fā)展情況，仍然是穩(wěn)中向好，勢(shì)如破竹，最近一次員工股票出售中，它的估值甚至一度高達(dá) 860 億美元。
而超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment），是 OpenAI 內(nèi)部一個(gè)頗具話題性的部門。
AI 發(fā)展到最后，如果成為超級(jí)智能，好處是或許能幫我們解決核聚變問題，甚至開拓其他星球，但反過來，這么厲害的它，開始危害人類了怎么辦？
為此，在去年夏天，Ilya Sutskever 成立了這個(gè)團(tuán)隊(duì)，來研發(fā)控制和指導(dǎo)超級(jí)智能的技術(shù)。
Aschenbrenner，恰恰就是超級(jí)智能對(duì)齊團(tuán)隊(duì)的關(guān)鍵人物之一。
一個(gè)爭議就是：這個(gè)團(tuán)隊(duì)真的有存在的必要嗎？
OpenAI 內(nèi)部，員工對(duì)此意見不一。
此前的內(nèi)斗風(fēng)波，跟這個(gè)理念的爭議也脫不了干系。
作為 OpenAI 聯(lián)合創(chuàng)始人、重大技術(shù)突破負(fù)責(zé)人，Ilya 曾與其他董事會(huì)成員一起，決定解雇 Sam Altman，原因是他缺乏坦誠。
而 Altman 宮斗歸來、重返 CEO 之職后，Ilya 離開了董事會(huì)，從此似乎銷聲匿跡，引來眾多網(wǎng)友的猜疑。
又是「有效利他主義」
耐人尋味的是，事件中的眾多人物，都有「有效利他主義」（Effective Altruism），有著千絲萬縷的關(guān)聯(lián)。
對(duì)齊團(tuán)隊(duì)關(guān)鍵人物 Aschenbrenner，便是有效利他主義運(yùn)動(dòng)的一員。
該運(yùn)動(dòng)強(qiáng)調(diào)，我們應(yīng)該優(yōu)先解決 AI 潛在的風(fēng)險(xiǎn)，而非追求短期的利潤或生產(chǎn)力增長。
說到這里，就不能不提大名鼎鼎的幣圈大佬、如今淪為階下囚的 FTX 創(chuàng)始人 Sam Bankman-Fried 了，他也是有效利他主義的忠實(shí)擁躉之一。
19 歲時(shí)畢業(yè)于哥大的 Aschenbrenner，曾在 SBF 創(chuàng)建的慈善基金 Future Fund 工作，該基金致力于資助能夠「改善人類長遠(yuǎn)前景」的項(xiàng)目。
一年前，Aschenbrenner 加入了 OpenAI。
而把 Altman 踢出局的其他董事會(huì)成員，也都被發(fā)現(xiàn)和有效利他主義有干系。
比如，Tasha McCauley 是 Effective Ventures 的董事會(huì)成員，后者即是有效利他中心的母組織。
而 Helen Toner 曾在專注于有效利他的 Open Philanthropy 項(xiàng)目工作。
去年 11 月 Altman 重任 CEO 時(shí)，二人也都來開了董事會(huì)。
這樣看來，此次 Aschenbrenner 被開除究竟是因?yàn)樾姑?，還是因?yàn)槠渌?，就值得探究了?/p>
總之，Sam Altman 看來是跟有效利他主義主義的這幫人杠上了 —— 畢竟他們的理念，實(shí)在是 Altman 理想中 AGI（甚至 ASI）的最大絆腳石。
Leopold Aschenbrenner
Leopold Aschenbrenner 還在大三時(shí)，便入選了 Phi Beta Kappa 學(xué)會(huì)，并被授予 John Jay 學(xué)者稱號(hào)。
19 歲時(shí)，更是以最優(yōu)等成績（Summa cum laude）從哥倫比亞大學(xué)順利畢業(yè)。
期間，他不僅獲得了對(duì)學(xué)術(shù)成就授以最高認(rèn)可的 Albert Asher Green 獎(jiǎng)，并且憑借著「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經(jīng)濟(jì)學(xué)最佳畢業(yè)論文 Romine 獎(jiǎng)。
此外，他還曾擔(dān)任政治學(xué)的 Robert Y. Shapiro 教授和經(jīng)濟(jì)學(xué)的 Joseph E. Stiglitz 教授的研究助理。
Leopold Aschenbrenner 來自德國，現(xiàn)居風(fēng)景優(yōu)美的加利福尼亞舊金山，志向是為后代保障自由的福祉。
他的興趣相當(dāng)廣泛，從第一修正案法律到德國歷史，再到拓?fù)鋵W(xué)，以及人工智能。目前的研究專注于實(shí)現(xiàn)從弱到強(qiáng)的 AI 泛化。
Pavel Izmailov
Pavel Izmailov 在莫斯科國立大學(xué)獲得數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，在康奈爾大學(xué)獲得運(yùn)籌學(xué)碩士學(xué)位，并在紐約大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位。
他的研究興趣廣泛，包括機(jī)器學(xué)習(xí)核心領(lǐng)域內(nèi)的多個(gè)主題，不過主要還是致力于深入理解深度神經(jīng)網(wǎng)絡(luò)是如何運(yùn)作的。
提升 AI 的推理和問題解決能力
深度學(xué)習(xí)模型的可解釋性，涵蓋大語言模型和計(jì)算機(jī)視覺模型
利用 AI 進(jìn)行科學(xué)發(fā)現(xiàn)
大規(guī)模模型的分布外泛化和魯棒性
技術(shù) AI 對(duì)齊
概率深度學(xué)習(xí)、不確定性估計(jì)和貝葉斯方法
此外，他所在團(tuán)隊(duì)關(guān)于貝葉斯模型選擇方面的工作，更是在 2022 年的 ICML 上獲得了杰出論文獎(jiǎng)。
加入 OpenAI 之前，他曾在亞馬遜、谷歌等大廠實(shí)習(xí)
從 2025 年秋季開始，Izmailov 將加入紐約大學(xué)，同時(shí)擔(dān)任 Tandon CSE 系助理教授和 Courant CS 系客座教授，并加入 NYU CILVR 小組。
用 GPT-2 監(jiān)督 GPT-4
在這項(xiàng)研究中，OpenAI 團(tuán)隊(duì)提出了一個(gè)創(chuàng)新性模型對(duì)齊方式 —— 用小模型監(jiān)督大模型。
Leopold Aschenbrenner 對(duì)此解釋道，直覺告訴我們，超人類人工智能系統(tǒng)應(yīng)該能「感知」自己是否在安全地操作。
但是，人類能否僅通過「弱監(jiān)督」就從強(qiáng)大的模型中提取出這些概念呢？
在未來，AI 系統(tǒng)可以處理極其復(fù)雜的任務(wù)，比如生成一百萬行代碼。
但是人類需要為其行為設(shè)置一些限制，比如「不要撒謊」或「不要逃離服務(wù)器」。
而目前，大模型這個(gè)黑盒，人類根本無法理解它們的行為，那我們?nèi)绾螌?shí)現(xiàn)這些限制？
通常情況下，我們會(huì)用人類的標(biāo)注來訓(xùn)練 AI 系統(tǒng)。
但是，相比于那些比我們聰明得多的 AI 系統(tǒng)，人類只能算是「弱監(jiān)督」。
也就是說，在復(fù)雜的問題上，人類提供的只是不完整或有缺陷的標(biāo)注。
好在，強(qiáng)大的模型已經(jīng)能夠明顯地，表示出像「這個(gè)行動(dòng)是否危險(xiǎn)」這樣的概念。
如此一來，人類就可以要求它說出自己知道的內(nèi)容，包括那些我們無法直接監(jiān)督的復(fù)雜情況。
為此，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)巧妙的實(shí)驗(yàn) —— 當(dāng)我們用一個(gè)小模型來監(jiān)督大模型時(shí)，會(huì)發(fā)生什么？
強(qiáng)大的模型是否會(huì)模仿比它弱的監(jiān)督者，甚至包括它的錯(cuò)誤呢？還是說，它能夠泛化到更深層次的任務(wù)或概念？
結(jié)果，他們驚喜地發(fā)現(xiàn)，果然可以利用深度學(xué)習(xí)的出色泛化能力來獲得幫助。
像 GPT-2 這種數(shù)到十都不會(huì)的弱雞模型，都可以來監(jiān)督能參加高考的 GPT-4，讓它恢復(fù)到接近完美標(biāo)注的 80% 性能。
不過，目前這種方法只在某些情況下有效，所以如果我們只是簡單地應(yīng)用當(dāng)前對(duì)齊技術(shù)（比如 RLHF）的話，在超人類模型的擴(kuò)展上可能遇到困難。
但作者認(rèn)為，超越弱監(jiān)督者的泛化是一個(gè)普遍現(xiàn)象，而人類可以通過簡單的方法大幅提高泛化能力。
針對(duì)這項(xiàng)研究，未來探索的方向可能包括：
尋找更好的方法；
加深科學(xué)理解：我們何時(shí)以及為什么能看到良好的泛化？
采用類似的設(shè)置：實(shí)驗(yàn)設(shè)置與未來超級(jí)對(duì)齊問題之間還存在重要的不同 —— 我們能解決這些問題嗎？
這項(xiàng)研究讓作者最興奮一點(diǎn)是，他們可以在對(duì)齊未來超人類模型的核心挑戰(zhàn)上，取得迭代的實(shí)證進(jìn)展。
很多以前的對(duì)齊工作要么陷入理論，要么雖然是實(shí)證的，但并未直接面對(duì)核心挑戰(zhàn)。
比如，在對(duì)齊領(lǐng)域有一個(gè)長期的觀點(diǎn)是「引導(dǎo)」。（不是直接對(duì)齊一個(gè)非常聰明的模型，而是首先對(duì)齊一個(gè)稍微聰明的模型，然后用它來對(duì)齊一個(gè)中等聰明的模型，依此類推）
現(xiàn)在，雖然還遠(yuǎn)遠(yuǎn)不夠，但 OpenAI 研究人員已經(jīng)可以直接進(jìn)行測(cè)試了。
參考資料：
https://www.theinformation.com/articles/openai-researchers-including-ally-of-sutskever-fired-for-alleged-leaking?rc=epv9gi
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。