6 年元老為何加入離職大軍？AGI 的未來，我們到底需要面對什么？OpenAI 前高級顧問 Miles Brundage 最近發(fā)表長文，細述了自己的思考和感受。
OpenAI 的「員工叛逃」還沒有結(jié)束。
近日，OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 發(fā)表長文官宣離職，并詳細解釋了自己為何「出走」。
作為一家年輕的 AI 獨角獸，成立于 2015 年的 OpenAI 如今剛剛 9 歲，因此在公司待了 6 年之久的 Brundage 足以被稱為「元老」，見證了 OpenAI 如何一路起伏、篳路藍縷地走到今天。
在博文中，Brundage 也在開頭強調(diào)：為 OpenAI 的高管和董事會提供建議，為 AGI 的到來做準備，這實際上是他夢想中的工作；甚至就在 2015 年 OpenAI 剛成立時，Brundage 興奮得一夜不睡，寫下一篇博文強調(diào)這個組織的重要性。
原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015
因此，離開 OpenAI 對他來說并不是一個容易的決定。但是為了有更多時間研究自己認為重要的課題，更獨立、自由地發(fā)表觀點和作品，Brundage 決定轉(zhuǎn)而加入（甚至自己創(chuàng)辦）非營利組織，將重點放在 AI 政策研究和倡導上。
Miles Brundage 本科畢業(yè)于喬治華盛頓大學，本科期間擔任過美國能源部的特別助理，之后前往亞利桑那州立大學攻讀博士，研究方向為科技的人類和社會維度，博士后期間曾在牛津大學擔任 AI 政策研究員。
2018 年，Miles Brundage 加入了剛剛成立 3 年的 OpenAI 擔任政策方面的研究科學家，之后又在 2021 年升任研究主管，目前是 AGI 準備工作的高級顧問。
為何離開 OpenAI
總體來看，Brundage 的離職是希望從行業(yè)外部而非內(nèi)部影響 AI 的發(fā)展，這與今年 Geoffrey Hinton 離開谷歌的原因如出一轍，具體有如下幾個考慮因素：
機會成本
本職工作已經(jīng)占去了幾乎全部的時間，因此 Brandage 感覺很難從事自己認為重要的研究課題。甚至在某些情況下，身處行業(yè)之外時，從事這些研究能更有影響力和說服力。
而且，OpenAI 目前已經(jīng)如此引人注目，成果發(fā)布前就需要從許多不同的角度進行審查，以至于無法發(fā)表某些主題的文章。
但值得注意的是，Brundage 并不是完全反對 OpenAI 在出版物審查方面的立場，他認為行業(yè)中存在出版限制是合理的，他本人也幫助編寫了 OpenAI 政策的幾個迭代版本，但公司目前施加的限制確實已經(jīng)太多了。
減少偏見
如果選擇成為某個組織的一部分，并且每天都和那里的同事們密切合作，你就很難對這個組織保持公正。
Brundage 表示，他在分析中盡力追求公正，但仍然會有偏見的存在。而且在 OpenAI 工作這件事本身，就會影響到外界如何看待自己的觀點和研究?？紤]到財務利益上的沖突，人們有理由質(zhì)疑來自行業(yè)的政策想法。
在有關(guān)政策的對話中，有更多獨立于行業(yè)的聲音至關(guān)重要，而 Brundage 計劃成為其中之一。
在 OpenAI，能做的都做了
從入職至今，Brundage 認為自己作為「AGI 準備狀態(tài)高級顧問」的工作已經(jīng)完成了大部分。
「AGI 準備狀態(tài)」（AGI Readiness）主要分為兩種：一是 OpenAI 要準備好管理日益強大的 AI 能力，二是整個世界也要準備好有效管理 AI 能力，包括通過監(jiān)管 OpenAI 和其他公司。
對于前者，Brundage 已經(jīng)向他的負責對象 ——OpenAI 的高管和董事會 —— 詳細介紹了他認為 OpenAI 需要做什么，以及差距在哪里；而對于后者，他認為自己在 OpenAI 外部能夠更加有效。
雖然失去了一些在 OpenAI 發(fā)揮影響力的機會，但 Brandage 希望在更大程度上影響整個生態(tài)系統(tǒng)。
AGI，我們都沒準備好
Brundage 認為，對于即將到來的 AGI，OpenAI 或任何其他的前沿實驗室都還沒有準備好，這個世界也還沒有準備好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明確的是，他不認為這種「沒準備好」的狀態(tài)與 OpenAI 領導層的聲明相沖突；同時他也暗示，雖然距離理想的標準存在相當?shù)牟罹啵俏覀內(nèi)钥梢栽谙嚓P(guān)時間點步入正軌，為此 Brundage 將在余下的職業(yè)生涯中致力于人工智能政策。
科技公司和這個世界是否走上了 AGI 準備的正軌，是一個復雜的函數(shù)，取決于安全和保障方面的文化如何隨著時間的推移而發(fā)揮作用、監(jiān)管如何影響組織的激勵措施、各種有關(guān) AI 能力和安全方面困難的事實，以及各種其他因素。
此處，Brundage 特別表揚了 OpenAI 最近新增加董事會成員的決定，新吸納的成員包括前陸軍上將 Paul M. Nakasone 和 CMU 機器學習系主任 Zico Kolter，這都是朝著正確方向邁出的一步。
順便一提，Brundage 表示，「AGI」這個術(shù)語承載了太多意義，它現(xiàn)在更多地暗示著一種二元思維方式，而不是實際意義，因此有必要澄清一下，此處的「為 AGI 做好準備」，指「準備好安全、可靠且有益地開發(fā)、部署和管理能力日益強大的 AI 系統(tǒng)」。
最近，他和團隊正在充實 OpenAI 提出的 AGI 五級框架，不久后或許會發(fā)表一篇正式的論文。這個框架曾被彭博社披露，引來了不少爭議。
雖然 Brundage 對 AI 政策抱持著謹慎和批判的態(tài)度，但對于 AGI 前景的預測，他的確稱得上是一個「技術(shù)樂觀主義者」，觀點與硅谷的風投大佬 Khosla 非常一致。
他認為，在未來短短的幾年內(nèi)，人工智能很可能能夠?qū)崿F(xiàn)足夠的經(jīng)濟增長。假設我們能制定出適當?shù)恼邅泶_保公平分配，人類就能實現(xiàn)高生活水平的提前退休。
但在此之前的短期時間中，AI 很可能會搶走一些迫切需要工作的人的機會，尤其是那些可以遠程完成的、容易自動化的任務。
但事實是，人類最終應該擺脫為謀生而工作的義務，這也為構(gòu)建 AI 和 AGI 提供了最強有力的論據(jù)之一。從長遠來看，有些人可能會繼續(xù)工作，但不會像現(xiàn)在這樣有如此迫切的激勵因素。
一個「后工作世界」（post-work world）的風險之一就是文明的停滯（比如電影「機器人總動員」所展現(xiàn)的），但我們目前還沒有在政治、文化或其他方面為此做好準備，因此需要更多的思考、辯論和政策討論。
2008 年電影「機器人總動員」（WALL-E），由皮克斯工作室制作、迪士尼出品
很多人都描繪過「AI 造福人類」的前景，這些描述似乎是出于好意而非陰謀論。但目前存在效率低下的問題，很大程度上是由于民間社會和政府的技術(shù)專業(yè)知識不足，以及缺乏良好的規(guī)范和理論基礎。
例如，對于出現(xiàn)的問題，我們是否應該期望市場機制給出解決方法？什么時候應該構(gòu)建定制化、應用范圍狹窄的 AI 解決方案，什么時候應該提高通用 AI 系統(tǒng)的能力來解決？在各種情況中，正確的方法是繼續(xù)補足現(xiàn)有的技術(shù)，還是創(chuàng)造全新的技術(shù)，等等。
要不要在 OpenAI 工作
「要不要在 OpenAI 工作」，這個問題聽起來有點凡爾賽，可以類比下「斯坦福和 MIT 該選哪個」。
但如果屏幕前的你拿到了 offer 正在糾結(jié)該去 OpenAI 還是谷歌 DeepMind，Miles Brundage 的經(jīng)驗或許能幫助你解決這個甜蜜的煩惱。
在 OpenAI 工作是大多數(shù)人希望能做到的最有影響力的事情之一，所以在大多數(shù)情況下，答案是肯定的。
考慮到每個人擁有的技能和機會不同，很難做出籠統(tǒng)的陳述，但有一點是確定的 ——OpenAI 的每一個角色，以及每個人對待工作的謹慎程度都很重要，對 OpenAI 組織文化的每一項貢獻也很重要。
在通往更強大 AI 的道路上，每一次產(chǎn)品的部署都會發(fā)揮重要作用，比如影響行業(yè)規(guī)范，以及人們認知和監(jiān)管 AI 的方式。
在 OpenAI 工作，無論是 AI 的安全與保障，抑或是 AI 能力和產(chǎn)品方面的研究，發(fā)揮個人的能動作用來推動 AI 安全都是非常有影響力的。
下面這段話，似乎是 Brundage 的一段隔空喊話，寫給他仍在 OpenAI 工作的前同事們：
「任何在 OpenAI 工作的人都應該認真對待這樣一個事實：他們的行為和言論有助于組織文化，并且當這個組織開始掌管極其先進的能力時，可能會創(chuàng)造正面或負面的路徑依賴。文化對任何組織都很重要，但在前沿 AI 的背景下尤其重要，因為大部分決策不取決于監(jiān)管法規(guī)，而是來自公司中的人?！?/p>
正如 Brundage 在前文所表示的，他認為某些政策研究最好在外部進行，AI 的安全和保障工作有時也是如此。盡管 OpenAI 內(nèi)部確實需要一些人來推動公司采取良好的政策立場，但存在獨立的安全研究也很有價值。
參考資料：
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
本文來自微信公眾號：微信公眾號（ID：null），作者：新智元
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。