剛剛,OpenAI 安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)人翁荔(Lilian Weng)通過 X 宣布,將于 11 月 15 日離開,結(jié)束她在 OpenAI 長(zhǎng)達(dá)近 7 年的職業(yè)生涯。
翁荔在離職信中表示,這是一個(gè)艱難的選擇,并表達(dá)了對(duì) OpenAI 團(tuán)隊(duì)及其所取得的成就的感情。
因 7 天前翁荔剛剛以 OpenAi 研究副總裁(安全)的身份,現(xiàn)身國(guó)內(nèi),做《Ai 安全與“培養(yǎng)”之道》的分享。一時(shí)之間,翁荔離開后是否會(huì)選擇回國(guó),也成為了大家關(guān)注的重點(diǎn)。
翁荔為華人科學(xué)家,自加入 OpenAI 以來,曾在多個(gè)關(guān)鍵領(lǐng)域做出貢獻(xiàn)。她在 2017 年初加入,參與了機(jī)器人技術(shù)和深度強(qiáng)化學(xué)習(xí)的研究,并為后來的 GPT-4 以及安全系統(tǒng)的奠定了基礎(chǔ)。
她領(lǐng)導(dǎo)應(yīng)用人工智能研究團(tuán)隊(duì),致力于提升 OpenAI API 的實(shí)用性和安全性。特別是在 GPT-4 發(fā)布后,她主導(dǎo)了 OpenAI 安全系統(tǒng)的愿景,致力于提升 OpenAI API 的實(shí)用性和安全性。
她表示,團(tuán)隊(duì)在模型安全、對(duì)抗性以及越獄防御等方面取得了進(jìn)展,為行業(yè)樹立了新的標(biāo)準(zhǔn)。
翁荔在離職信中表達(dá)了對(duì)團(tuán)隊(duì)的感激之情,并特別提到自己為“o1-preview”模型的安全性感到自豪,該模型被認(rèn)為是 OpenAI 迄今為止最安全的模型之一。她對(duì)未來充滿期待,表示將重新開始,探索新的領(lǐng)域。
盡管 OpenAI 在不斷吸納新成員,但離職潮顯然仍在繼續(xù)。
以下為翁荔公開分享的內(nèi)容:
親愛的朋友們,
我做出了離開 OpenAI 的艱難決定。11 月 15 日將是我在辦公室的最后一天。
OpenAI 是我成長(zhǎng)為科學(xué)家和團(tuán)隊(duì)領(lǐng)導(dǎo)者的地方,我將永遠(yuǎn)珍惜與我一路共事和結(jié)交的朋友在一起的時(shí)光。OpenAI 團(tuán)隊(duì)一直是我的知己、老師,也是我認(rèn)可的一部分。
我還記得 2017 年 OpenAI 的使命讓我多么著迷,一群人夢(mèng)想著一個(gè)不可能實(shí)現(xiàn)的科幻未來。在這里,我開始研究全棧機(jī)器人難題 —— 從深度是強(qiáng)化學(xué)習(xí)算法到裝備再到強(qiáng)化 —— — 目標(biāo)是教會(huì)單臺(tái)機(jī)械手如何解決魔方問題。整個(gè)團(tuán)隊(duì)花了兩年時(shí)間,但我們最終實(shí)現(xiàn)了。
當(dāng) OpenAI 進(jìn)入 GPT 范式時(shí),我們開始探索將最佳 AI 模型部署到現(xiàn)實(shí)世界的方法時(shí),我組建了第一個(gè)應(yīng)用研究(Applied Research)團(tuán)隊(duì),推出了藍(lán)牙式 API、嵌入 API 和審核端點(diǎn)的初始版本,為應(yīng)用安全奠定了基礎(chǔ),并為眾多早期 API 客戶提供了新的解決方案。
GPT-4 發(fā)布后,我被要求接受一個(gè)新的挑戰(zhàn),重新考慮 OpenAI 安全系統(tǒng)的愿景,把工作集中在一個(gè)擁有下面完整安全堆棧的團(tuán)隊(duì)中。那是我經(jīng)歷過的最困難、壓力最大的這個(gè)又是最激動(dòng)人心的事情之一?,F(xiàn)在,安全系統(tǒng)(安全系統(tǒng))團(tuán)隊(duì)擁有超過 80 位優(yōu)秀的科學(xué)家、工程師、產(chǎn)品、經(jīng)理、政策專家,而我為團(tuán)隊(duì)取得的一切成就感到非常自豪。發(fā)布的基石 —— 從 GPT-4 Window 和 turbo 版本到 GPT Store、語(yǔ)音訓(xùn)練和 o1。其在這些模型中已經(jīng)建立了又決策方面為行業(yè)制定了工作樹立了新的標(biāo)準(zhǔn)。我為我們?cè)?o1 預(yù)測(cè)模型方面取得的最新測(cè)量成果特別引人注意的是,它是我們迄今為止最安全的模型,在保持真實(shí)性的同時(shí),表現(xiàn)出了對(duì)越獄攻擊的卓越抵抗力。
我們共同取得了令人驚嘆的成就:
?我們訓(xùn)練模型制定者認(rèn)識(shí)到,通過遵循一套定義的明確的政策模型安全行為,可以很好地拒絕敏感或不安全的請(qǐng)求,包括何時(shí)拒絕或不拒絕,從而達(dá)到安全性和實(shí)用性之間取得良好的平衡。
?在每次模型發(fā)布時(shí),我們都提高了其對(duì)抗性,包括防御越獄攻擊、指定我們的層次結(jié)構(gòu)以及通過推理大幅提升性。
?我們開發(fā)了多模態(tài)的評(píng)估模型的行業(yè)領(lǐng)先者,并免費(fèi)分享給公眾。我們目前在更通用的監(jiān)控框架和增強(qiáng)安全推理能力方面的工作將為更多的安全工作流提供支持。
?我們?yōu)榘踩珨?shù)據(jù)記錄、指標(biāo)、儀表板、主動(dòng)學(xué)習(xí)管道、分類器部署、推理時(shí)間過濾和全新的快速響應(yīng)系統(tǒng)建立了工程開發(fā)基礎(chǔ)。
回顧我們所取得的成績(jī),我為安全系統(tǒng)團(tuán)隊(duì)的每一個(gè)人都感到自豪,我非常相信團(tuán)隊(duì)將繼續(xù)壯大發(fā)展。我愛你們??。
現(xiàn)在,在 OpenAI 工作了 7 年了,我準(zhǔn)備重新開始并探索一些新東西。OpenAI 正以火箭般的增長(zhǎng)趨勢(shì)上,希望這里的每個(gè)人一切都順利。
附言:我的博客還在,會(huì)繼續(xù)下去。我可能很快就會(huì)有時(shí)間更頻繁地更新它,也可能會(huì)有更多時(shí)間來編程;)
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。