自從 Ilya Sutskever 的名字出現(xiàn)在 OpenAI o1 背后團(tuán)隊(duì)名單中，他在 o1 中發(fā)揮了哪些作用，一時(shí)間成為不少網(wǎng)友的關(guān)注焦點(diǎn)。
這不，機(jī)器學(xué)習(xí)工程師 Rohan Paul 剛剛發(fā)帖表示，去年 5 月份 Ilya 合著的一篇論文不能錯(cuò)過。
論文題為“Let's Verify Step by Step（一步步來驗(yàn)證）”。不光是 Ilya，其中還有不少作者同樣是 OpenAI o1 的背后貢獻(xiàn)者。
甚至有網(wǎng)友將這篇論文稱作是 AI 領(lǐng)域僅次于“Attention is all you need”的第二著名論文。
除此之外，在關(guān)于 OpenAI o1 背后團(tuán)隊(duì)的熱議中，OpenAI 科學(xué)家 Noam Brown 最近發(fā)帖澄清并沒有主導(dǎo)草莓 / o1。但同時(shí)也透露 o1 項(xiàng)目是一個(gè)多年研究的成果，從去年 10 月開始真正加速發(fā)展。
這么來看，Ilya Sutskever 會是 OpenAI o1 的“基礎(chǔ)貢獻(xiàn)者”也就更不令人意外了。接下來深入看看“Let's Verify Step by Step”這篇論文以及 OpenAI o1 背后的貢獻(xiàn)者。
Ilya 在 o1 的作用
OpenAI o1 主打進(jìn)行通用復(fù)雜推理，在輸出回答之前，會在產(chǎn)生一個(gè)很長的思維鏈，以此增強(qiáng)模型能力。而 Ilya 此前合著的這篇論文主要就是探討了提高大語言模型多步推理能力的方法。
他們主要比較了結(jié)果監(jiān)督（outcome supervision）和過程監(jiān)督（process supervision）兩種方法在訓(xùn)練獎勵模型上的效果。結(jié)果監(jiān)督側(cè)重于模型最終輸出的正確性。而過程監(jiān)督則關(guān)注模型在推理過程中每一步的正確性，能夠指出答案中具體哪一步是錯(cuò)的：
團(tuán)隊(duì)使用 GPT-4 基礎(chǔ)模型，在 MATH 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。由于過程監(jiān)督?jīng)]有簡單的自動化方法，所以只能依靠人工數(shù)據(jù)標(biāo)注者來標(biāo)記模型生成解決方案中每個(gè)步驟的正確性。
他們收集了大量人類反饋數(shù)據(jù)，創(chuàng)建了 PRM800K 數(shù)據(jù)集，包含 80 萬個(gè)步級標(biāo)簽。實(shí)驗(yàn)分為大規(guī)模和小規(guī)模兩種體制，各有優(yōu)勢并提供不同視角。
研究結(jié)果發(fā)現(xiàn)：過程監(jiān)督顯著優(yōu)于結(jié)果監(jiān)督，能夠訓(xùn)練出更可靠的獎勵模型。
使用過程監(jiān)督訓(xùn)練的最佳模型在 MATH 測試集具有代表性的子集上解決了 78.2% 的問題，明顯優(yōu)于結(jié)果監(jiān)督模型（72.4%）和多數(shù)投票基線（69.6%）。
研究還證明了大型獎勵模型能夠可靠地近似人類監(jiān)督對較小獎勵模型的效果，并且能夠高效地進(jìn)行大規(guī)模數(shù)據(jù)收集的消融分析。
主動學(xué)習(xí)（active learning）還可以顯著提高過程監(jiān)督的數(shù)據(jù)效率，大約提升了 2.6 倍。
團(tuán)隊(duì)還討論了過程監(jiān)督的幾個(gè)關(guān)鍵優(yōu)勢。首先，它提供了更精確的反饋，使得功勞歸因更加容易。其次，在 AI 對齊方面，過程監(jiān)督更有可能產(chǎn)生可解釋的推理。
為了評估模型的泛化能力，團(tuán)隊(duì)還在 AP 物理、AP 微積分、AP 化學(xué)和 AMC 考試題目上進(jìn)行了測試。結(jié)果顯示，過程監(jiān)督訓(xùn)練的模型在這些新問題上仍然表現(xiàn)優(yōu)異，證明了其對適度分布偏移的魯棒性。
大模型飛速發(fā)展一年后的今天，再來看這篇論文，有學(xué)者指出現(xiàn)在來看沒有太多新的想法：
關(guān)鍵 idea 就是過程獎勵模型，它可以單獨(dú)評估每個(gè)步驟或 token，而不僅是最終結(jié)果。
但也正如網(wǎng)友所說，這篇論文總歸來說是邁向 OpenAI o1 的一步。
o1 則代表了“從記憶答案到記憶推理的范式轉(zhuǎn)變”。
清北校友 o1-mini 主要負(fù)責(zé)人
除了 Ilya Sutskever，關(guān)于 o1 背后團(tuán)隊(duì)也引發(fā)了不少關(guān)注。官網(wǎng)給出的全名單，分成了推理研究和推理技術(shù)安全兩塊。粗略一看已經(jīng)遠(yuǎn)遠(yuǎn)超一百人。
咱們主要看看研究這塊。
基礎(chǔ)貢獻(xiàn)者：21 人；Leadership：7 人；
核心貢獻(xiàn)者：46 人；
貢獻(xiàn)者：82 人；
項(xiàng)目經(jīng)理：2 人；
執(zhí)行領(lǐng)導(dǎo)：8 人；
支持領(lǐng)導(dǎo)：8 人。
在基礎(chǔ)貢獻(xiàn)者中我們也看到了不少熟悉的影子以及華人面孔。
Jason Wei，OpenAI 研究員，此前曾在谷歌大腦工作，他是思維鏈的提出者，也曾參與大模型涌現(xiàn)能力以及 GPT-4 的研究。
Shengjia Zhao，本科畢業(yè)于清華，隨后前往斯坦福攻讀博士學(xué)位，22 年畢業(yè)之后就來到 OpenAI。個(gè)人介紹中顯示，熱衷于訓(xùn)練大模型，他是 ChatGPT、GPT-4、GPT-4o mini 的核心作者之一。
任泓宇，2018 年畢業(yè)于北京大學(xué)，隨后來到斯坦福攻讀計(jì)算機(jī)博士學(xué)位，當(dāng)時(shí)方向就是大語言模型。加入 OpenAI 之前曾在微軟英偉達(dá)谷歌蘋果這些科技巨頭待過。他是 GPT-4o 的核心貢獻(xiàn)者，GPT-4o mini 的領(lǐng)導(dǎo)者，主要教模型如何更快、更努力、更敏銳地思考。
當(dāng)模型第一時(shí)間發(fā)布時(shí)，他曾表示 o1-mini 是他最喜歡的一款模型。
以上這兩位清華北大校友，應(yīng)該是 o1-mini 的主要負(fù)責(zé)人沒跑了。
Francis Song，本博分別畢業(yè)于耶魯和哈佛，曾在 NYU 擔(dān)任助理研究員，方向是計(jì)算神經(jīng)科學(xué)。在 DeepMind 待了四年后，22 年來到了 OpenAI。
Wenda Zhou，本科畢業(yè)于劍橋大學(xué)，在哥倫比亞大學(xué)獲得博士學(xué)位，來到 OpenAI 之前曾在 Simons / NYU 當(dāng)研究院，去年加入 OpenAI。
Kevin Yu，畢業(yè)于 UC 伯克利，曾就職于 NASA。
在 Leadership 里還有位華人面孔。
Mark Chen，目前是 OpenAI（前沿）研究副總裁。曾就讀于 MIT 數(shù)學(xué)與計(jì)算機(jī)科學(xué)專業(yè)，曾在 Integral Technology 擔(dān)任量化研究合伙人。
最后，也附上全體名單。
△ 推理研究
△ 推理技術(shù)安全
阿爾特曼：已掌握未來幾年主動權(quán)
話說回來，前兩天阿爾特曼又去接受公開采訪了，聊了聊最新的這個(gè)模型。
他表示 o1 模型雖然能在 IOI、IMO 這樣的競賽中取得優(yōu)異成績，但重點(diǎn)不應(yīng)該放在 AI 擅長考試這一點(diǎn)上。而是它能幫助研究人員，比如更快發(fā)現(xiàn)新材料、找到治療疾病的方法等等。
這是個(gè)新范式的開始，非常早期但非常重要。
談到未來的愿景，他提到，未來將有兩種基本商品，那就是智慧和能源 —— 擁有創(chuàng)意的能力，完成智力工作的能力，以及能源，即在世界上實(shí)現(xiàn)這些目標(biāo)的能力。
至于大模型進(jìn)展，他表示不僅沒有放緩，而且已經(jīng)掌握了未來幾年的主動權(quán)。
參考鏈接：
[1]https://arxiv.org/abs/2305.20050
[2]https://openai.com/openai-o1-contributions/
[3]https://x.com/rohanpaul_ai/status/1835427161370738983?s=46&t=iTysI4vQLQqCNJjSmBODPw
[3]https://x.com/EarningsNugget/status/1834800151598453085
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。