OpenAI，有大事發(fā)生！最近各種爆料頻出，比如 OpenAI 已經(jīng)跨過(guò)「遞歸自我改進(jìn)」臨界點(diǎn)，o4、o5 已經(jīng)能自動(dòng)化 AI 研發(fā)，甚至 OpenAI 已經(jīng)研發(fā)出 GPT-5？OpenAI 員工如潮水般爆料，瘋狂暗示內(nèi)部已開(kāi)發(fā)出 ASI。
種種跡象表明，最近 OpenAI 似乎發(fā)生了什么大事。
AI 研究員 Gwern Branwen 發(fā)布了一篇關(guān)于 OpenAI o3、o4、o5 的文章。
根據(jù)他的說(shuō)法，OpenAI 已經(jīng)跨越了臨界點(diǎn)，達(dá)到了「遞歸自我改進(jìn)」的門(mén)檻 ——o4 或 o5 能自動(dòng)化 AI 研發(fā)，完成剩下的工作！
文章要點(diǎn)如下 ——
- OpenAI 可能選擇將其「o1-pro」模型保密，利用其計(jì)算資源來(lái)訓(xùn)練 o3 這類(lèi)更高級(jí)的模型，類(lèi)似于 Anthorpic 的策略
- OpenAI 可能相信他們已經(jīng)在 AI 發(fā)展方面取得了突破，正在走向 ASI 之路
- 目標(biāo)是開(kāi)發(fā)一種運(yùn)行效率高的超人 AI，類(lèi)似于 AlphaGo / Zero 所實(shí)現(xiàn)的目標(biāo)
- 推理時(shí)搜索最初可以提高性能，但最終會(huì)達(dá)到極限
甚至還出現(xiàn)了這樣一種傳言：OpenAI 和 Anthropic 已經(jīng)訓(xùn)練出了 GPT-5 級(jí)別的模型，但都選擇了「雪藏」。
原因在于，模型雖能力強(qiáng)，但運(yùn)營(yíng)成本太高，用 GPT-5 蒸餾出 GPT-4o、o1、o3 這類(lèi)模型，才更具性?xún)r(jià)比。
甚至，OpenAI 安全研究員 Stephen McAleer 最近兩周的推文，看起來(lái)簡(jiǎn)直跟短篇科幻小說(shuō)一樣 ——
我有點(diǎn)懷念過(guò)去做 AI 研究的時(shí)候，那時(shí)我們還不知道如何創(chuàng)造超級(jí)智能。
在前沿實(shí)驗(yàn)室，許多研究人員都非常認(rèn)真地對(duì)待 AI 短時(shí)間的影響，而實(shí)驗(yàn)室之外幾乎沒(méi)有人充分討論其安全影響。
而現(xiàn)在控制超級(jí)智能已經(jīng)是迫在眉睫的研究事項(xiàng)了。
我們?cè)撊绾慰刂圃幱?jì)多端的超級(jí)智能？即使擁有完美的監(jiān)視器，難道它不會(huì)說(shuō)服我們將其從沙箱中釋放出來(lái)嗎？
總之，越來(lái)越多 OpenAI 員工，都開(kāi)始暗示他們已經(jīng)在內(nèi)部開(kāi)發(fā)了 ASI。
這是真的嗎？還是 CEO 阿爾特曼「謎語(yǔ)人」的風(fēng)格被底下員工學(xué)會(huì)了？
很多人覺(jué)得，這是 OpenAI 慣常的一種炒作手段。
但讓人有點(diǎn)害怕的是，有些一兩年前離開(kāi)的人，其實(shí)表達(dá)過(guò)擔(dān)憂。
莫非，我們真的已處于 ASI 的邊緣？
超級(jí)智能（superintelligence）的「潘多拉魔盒」，真的被打開(kāi)了？
OpenAI:「遙遙領(lǐng)先」
OpenAI 的 o1 和 o3 模型，開(kāi)啟了新的擴(kuò)展范式：在運(yùn)行時(shí)對(duì)模型推理投入更多計(jì)算資源，可以穩(wěn)定地提高模型性能。
如下面所示，o1 的 AIME 準(zhǔn)確率，隨著測(cè)試時(shí)計(jì)算資源的對(duì)數(shù)增加而呈恒定增長(zhǎng)。
OpenAI 的 o3 模型延續(xù)了這一趨勢(shì)，創(chuàng)造了破紀(jì)錄的表現(xiàn)，具體成績(jī)?nèi)缦拢?/p>
在 Codeforces 上得分 2727，使其成為全球第 175 名最優(yōu)秀的競(jìng)技編程者；
在 FrontierMath 上得分 25%，該平臺(tái)的「每個(gè)問(wèn)題都需要數(shù)學(xué)家?guī)讉€(gè)小時(shí)的工作」；
在 GPQA 上得分 88%，其中 70% 的分?jǐn)?shù)代表博士級(jí)別的科學(xué)知識(shí)；
在 ARC-AGI 上得分 88%，而在困難的視覺(jué)推理問(wèn)題上, 平均 Mechanical Turk 人工任務(wù)工人的得分為 75%。
根據(jù) OpenAI 的說(shuō)法，o 系列模型的性能提升主要來(lái)自于增加思維鏈（Chain-of-Thought，CoT）的長(zhǎng)度（以及其他技術(shù)，如思維樹(shù)），并通過(guò)強(qiáng)化學(xué)習(xí)改進(jìn)思維鏈（CoT）過(guò)程。
目前，運(yùn)行 o3 在最大性能下非常昂貴，單個(gè) ARC-AGI 任務(wù)的成本約為 300 美元，但推理成本正以每年約 10 倍的速度下降！
Epoch AI 的一項(xiàng)最新分析指出，前沿實(shí)驗(yàn)室在模型訓(xùn)練和推理上的花費(fèi)可能相似。
因此，除非接近推理擴(kuò)展的硬性限制，否則前沿實(shí)驗(yàn)室將繼續(xù)大量投入資源優(yōu)化模型推理，并且成本將繼續(xù)下降。
就一般情況而言，推理擴(kuò)展范式預(yù)計(jì)可能會(huì)持續(xù)下去，并且將是 AGI 安全性的一個(gè)關(guān)鍵考慮因素。
AI 安全性影響
那么推理擴(kuò)展范式對(duì) AI 安全性的影響是什么呢？簡(jiǎn)而言之，AI 安全研究人員 Ryan Kidd 博士認(rèn)為：
AGI 時(shí)間表大體不變，但可能會(huì)提前一年。
對(duì)于前沿模型的部署，可能會(huì)減少其過(guò)度部署的影響，因?yàn)樗鼈兊牟渴鸪杀緦⒈阮A(yù)期高出約 1000 倍，這將減少來(lái)自高速或集體超級(jí)智能的近期風(fēng)險(xiǎn)。
思維鏈（CoT）的監(jiān)督可能更有用，前提是禁止非語(yǔ)言的 CoT，這對(duì) AI 安全性有利。
更小的、運(yùn)行成本更高的模型更容易被盜用，但除非非常富有，否則很難進(jìn)行操作，這減少了單邊主義詛咒的風(fēng)險(xiǎn)。
擴(kuò)展可解釋性更容易還是更難；尚不確定。
模型可能會(huì)更多地接受強(qiáng)化學(xué)習(xí)（RL），但這將主要是「基于過(guò)程」的，因此可能更安全，前提是禁止非語(yǔ)言的 CoT。
出口管制可能需要調(diào)整，以應(yīng)對(duì)專(zhuān)用推理硬件。
AGI 時(shí)間表
o1 和 o3 的發(fā)布，對(duì) AGI 時(shí)間表的預(yù)測(cè)的影響并不大。
Metaculus 的「強(qiáng) AGI」預(yù)測(cè)似乎因?yàn)?o3 的發(fā)布而提前了一年，預(yù)計(jì)在 2031 年中期實(shí)現(xiàn)；然而，自 2023 年 3 月以來(lái)，該預(yù)測(cè)一直在 2031 到 2033 年之間波動(dòng)。
Manifold Market 的「AGI 何時(shí)到來(lái)？」也提前了一年，從 2030 年調(diào)整為 2029 年，但最近這一預(yù)測(cè)也在波動(dòng)。
很有可能，這些預(yù)測(cè)平臺(tái)已經(jīng)在某種程度上考慮了推理計(jì)算擴(kuò)展的影響，因?yàn)樗季S鏈并不是一項(xiàng)新技術(shù)，即使通過(guò) RL 增強(qiáng)。
總體來(lái)說(shuō)，Ryan Kidd 認(rèn)為他也沒(méi)有比這些預(yù)測(cè)平臺(tái)當(dāng)前預(yù)測(cè)更好的見(jiàn)解。
部署問(wèn)題
在《AI Could Defeat All Of Us Combined》中，Holden Karnofsky 描述了一種模棱兩可的風(fēng)險(xiǎn)威脅模型。
在此模型中，一群人類(lèi)水平的 AI，憑借更快的認(rèn)知速度和更好的協(xié)調(diào)能力超過(guò)了人類(lèi)，而非依賴(lài)于定性上的超級(jí)智能能力。
這個(gè)情景的前提是，「一旦第一個(gè)人類(lèi)水平的 AI 系統(tǒng)被創(chuàng)造出來(lái)，創(chuàng)造它的人，可以利用創(chuàng)造它所需要的相同計(jì)算能力，運(yùn)行數(shù)億個(gè)副本，每個(gè)副本大約運(yùn)行一年?！?/p>
如果第一個(gè) AGI 的運(yùn)行成本和 o3-high 的成本一樣（約 3000 美元 / 任務(wù)），總成本至少要 3000 億美元，那么這個(gè)威脅模型似乎就不那么可信了。
因此，Ryan Kidd 博士對(duì)「部署問(wèn)題」問(wèn)題的擔(dān)憂較小，即一旦經(jīng)過(guò)昂貴的訓(xùn)練，短期模型就可以廉價(jià)地部署，從而產(chǎn)生巨大影響。
這在一定程度上減輕了他對(duì)「集體」或「高速」超級(jí)智能的擔(dān)憂，同時(shí)略微提升了對(duì)「定性」超級(jí)智能的關(guān)注，至少對(duì)于第一代 AGI 系統(tǒng)而言。
監(jiān)督思維鏈
如果模型的更多認(rèn)知，是以人類(lèi)可解釋的思維鏈（CoT）形式嵌入，而非內(nèi)部激活，這似乎是通過(guò)監(jiān)督來(lái)促進(jìn) AI 安全性的好消息！
盡管 CoT 對(duì)模型推理的描述并不總是真實(shí)或準(zhǔn)確，但這一點(diǎn)可能得到改進(jìn)。
Ryan Kidd 也對(duì) LLM 輔助的紅隊(duì)成員持樂(lè)觀態(tài)度，他們能夠防止隱秘的陰謀，或者至少限制可能秘密實(shí)施的計(jì)劃的復(fù)雜度，前提是有強(qiáng)有力的 AI 控制措施
從這個(gè)角度來(lái)看，推理計(jì)算擴(kuò)展范式似乎非常有利于 AI 安全，前提是有足夠的 CoT 監(jiān)督。
不幸的是，像 Meta 的 Coconut（「連續(xù)思維鏈」）這樣的技術(shù)可能很快就會(huì)應(yīng)用于前沿模型，連續(xù)推理可以不使用語(yǔ)言作為中介狀態(tài)。
盡管這些技術(shù)可能帶來(lái)性能上的優(yōu)勢(shì)，但它們可能會(huì)在 AI 安全性上帶來(lái)巨大的隱患。
正如 Marius Hobbhahn 所說(shuō)：「如果為了微小的性能提升，而犧牲了可讀的 CoT，那簡(jiǎn)直是在自毀前程?！?/p>
然而，考慮到用戶(hù)看不到 o1 的 CoT，尚不確定是否能知道非語(yǔ)言 CoT 被部署的可能性，除非通過(guò)對(duì)抗性攻擊揭示這一點(diǎn)。
AGI 來(lái)了
美國(guó) AI 作家和研究員 Gwern Branwen，則認(rèn)為 Ryan Kidd 遺漏了一個(gè)重要方面：像 o1 這樣的模型的主要目的之一不是將其部署，而是生成下一個(gè)模型的訓(xùn)練數(shù)據(jù)。
o1 解決的每一個(gè)問(wèn)題現(xiàn)在都是 o3 的一個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)（例如，任何一個(gè) o1 會(huì)話最終找到正確答案的例子，都來(lái)訓(xùn)練更精細(xì)的直覺(jué)）。
這意味著這里的擴(kuò)展范式，可能最終看起來(lái)很像當(dāng)前的訓(xùn)練時(shí)范式：大量的大型數(shù)據(jù)中心，在努力訓(xùn)練一個(gè)擁有最高智能的最終前沿模型，并以低搜索的方式使用，并且會(huì)被轉(zhuǎn)化為更小更便宜的模型，用于那些低搜索或無(wú)搜索的用例。
對(duì)于這些大型數(shù)據(jù)中心來(lái)說(shuō)，工作負(fù)載可能幾乎完全與搜索相關(guān)（因?yàn)榕c實(shí)際的微調(diào)相比，推出模型的成本低廉且簡(jiǎn)單），但這對(duì)其他人來(lái)說(shuō)并不重要；就像之前一樣，所看到的基本是，使用高端 GPU 和大量電力，等待 3 到 6 個(gè)月，最終一個(gè)更智能的 AI 出現(xiàn)。
OpenAI 部署了 o1-pro，而不是將其保持為私有，并將計(jì)算資源投資于更多的 o3 訓(xùn)練等自舉過(guò)程。
Gwern Branwen 對(duì)此有點(diǎn)驚訝。
顯然，類(lèi)似的事情也發(fā)生在 Anthropic 和 Claude-3.6-opus 上 —— 它并沒(méi)有「失敗」，他們只是選擇將其保持為私有，并將其蒸餾成一個(gè)小而便宜、但又奇怪地聰明的 Claude-3.6-sonnet。
OpenAI 突破「臨界點(diǎn)」
OpenAI 的成員突然在 Twitter 上變得有些奇怪、甚至有些欣喜若狂，原因可能就是看到從原始 4o 模型到 o3（以及現(xiàn)在的狀態(tài)）的改進(jìn)。
這就像觀看 AlphaGo 在圍棋中等國(guó)際排名：它一直在上升…… 上升…… 再上升……
可能他們覺(jué)得自己「突破了」，終于跨過(guò)了臨界點(diǎn)：從單純的前沿 AI 工作，幾乎每個(gè)人幾年后都會(huì)復(fù)制的那種，跨越到起飛階段 —— 破解了智能的關(guān)鍵，以至 o4 或 o5 將能夠自動(dòng)化 AI 研發(fā)，并完成剩下的部分。
2024 年 11 月，阿爾特曼表示：
我可以看到一條路徑，我們正在做的工作會(huì)繼續(xù)加速增長(zhǎng)，過(guò)去三年取得的進(jìn)展將繼續(xù)在未來(lái)三年、六年、九年或更長(zhǎng)時(shí)間里繼續(xù)下去。
不久卻又改口：
我們現(xiàn)在非常確信地知道如何構(gòu)建傳統(tǒng)意義上的 AGI…… 我們開(kāi)始將目標(biāo)超越這一點(diǎn)，邁向真正意義上的超級(jí)智能。我們很喜歡我們目前的產(chǎn)品，但我們是為了美好的未來(lái)。通過(guò)超級(jí)智能，我們可以做任何事情。
而其他 AI 實(shí)驗(yàn)室卻只能望洋興嘆：當(dāng)超級(jí)智能研究能夠自給自足時(shí)，根本無(wú)法獲得所需的大型計(jì)算設(shè)備來(lái)競(jìng)爭(zhēng)。
最終 OpenAI 可能吃下整個(gè) AI 市場(chǎng)。
畢竟 AlphaGo / Zero 模型不僅遠(yuǎn)超人類(lèi)，而且運(yùn)行成本也非常低。僅僅搜索幾步就能達(dá)到超人類(lèi)的實(shí)力；即使是僅僅前向傳遞，已接近職業(yè)人類(lèi)的水平！
如果看一下下文中的相關(guān)擴(kuò)展曲線，會(huì)發(fā)現(xiàn)原因其實(shí)顯而易見(jiàn)。
論文鏈接：https://arxiv.org/pdf/2104.03113
繼續(xù)蒸餾
推理時(shí)的搜索就像是一種刺激劑，能立即提升分?jǐn)?shù)，但很快就會(huì)達(dá)到極限。
很快，你必須使用更智能的模型來(lái)改善搜索本身，而不是做更多的搜索。
如果單純的搜索能如此有效，那國(guó)際象棋在 1960 年代就能解決了。
而實(shí)際上，到 1997 年 5 月，計(jì)算機(jī)才擊敗了國(guó)際象棋世界冠軍，但超過(guò)國(guó)際象棋大師的搜索速度并不難。
如果你想要寫(xiě)著「Hello World」的文本，一群在打字機(jī)上的猴子可能就足夠了；但如果想要在宇宙毀滅之前，得到《哈姆雷特》的全文，你最好現(xiàn)在就開(kāi)始去克隆莎士比亞。
幸運(yùn)的是，如果你手頭有需要的訓(xùn)練數(shù)據(jù)和模型，那可以用來(lái)創(chuàng)建一個(gè)更聰明的模型：聰明到可以寫(xiě)出媲美甚至超越莎士比亞的作品。
2024 年 12 月 20 日，阿爾特曼強(qiáng)調(diào)：
在今天的噪聲中，似乎有些消息被忽略了：
在編程任務(wù)中，o3-mini 將超過(guò) o1 的表現(xiàn)，而且成本還要少很多！
我預(yù)計(jì)這一趨勢(shì)將持續(xù)下去，但也預(yù)見(jiàn)到為獲得邊際的更多性能而付出指數(shù)級(jí)增加的資金，這將變得非常奇怪。
因此，你可以花錢(qián)來(lái)改善模型在某些輸出上的表現(xiàn)…… 但「你」可能是「AI 實(shí)驗(yàn)室」，你只是花錢(qián)去改善模型本身，而不僅僅是為了某個(gè)一般問(wèn)題的臨時(shí)輸出。
這意味著外部人員可能永遠(yuǎn)看不到中間模型（就像圍棋玩家無(wú)法看到 AlphaZero 訓(xùn)練過(guò)程中第三步的隨機(jī)檢查點(diǎn)）。
而且，如果「部署成本是現(xiàn)在的 1000 倍」成立，這也是不部署的一個(gè)理由。
為什么要浪費(fèi)這些計(jì)算資源來(lái)服務(wù)外部客戶(hù)，而不繼續(xù)訓(xùn)練，將其蒸餾回去，最終部署一個(gè)成本為 100 倍、然后 10 倍、1 倍，甚至低于 1 倍的更優(yōu)模型呢？
因此，一旦考慮到所有的二階效應(yīng)和新工作流，搜索 / 測(cè)試時(shí)間范式可能會(huì)看起來(lái)出奇地熟悉。
參考資料：
https://x.com/emollick/status/1879574043340460256
https://x.com/slow_developer/status/1879952568614547901
https://x.com/kimmonismus/status/1879961110507581839
https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/implications-of-the-inference-scaling-paradigm-for-ai-safety
https://x.com/jeremyphoward/status/1879691404232015942
本文來(lái)自微信公眾號(hào)：新智元（ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。