o1 模型發(fā)布 1 周,lmsys 的 6k + 投票就將 o1-preview 送上了排行榜榜首。同時(shí),為了滿足大家對模型「IOI 金牌水平」的好奇心,OpenAI 放出了 o1 測評時(shí)提交的所有代碼。
萬眾矚目的最新模型 OpenAI o1,終于迎來了 lmsys 競技場的測評結(jié)果。不出意外,o1-preview 在各種領(lǐng)域絕對登頂,超過了最新版的 GPT-4o,在數(shù)學(xué)、困難提示和編碼領(lǐng)域表現(xiàn)出色;
而 o1-mini 雖然名字中自帶「mini」,但也和最新版的 GPT-4o 并列綜合排名第二,困難提示、編碼、數(shù)學(xué)等領(lǐng)域和 o1-preview 同樣登頂?shù)谝弧?/p>
果然,o1 模型不愧是通用推理領(lǐng)域的新王。lmsys 社區(qū)官方發(fā)推表示,這項(xiàng)測試結(jié)果收集了 6k + 社區(qū)投票,并將 OpenAI 這次取得的進(jìn)展描述為「令人難以置信的里程碑」。
單純看排行榜的排名可能不夠具有說服力,于是 lmsys 特意統(tǒng)計(jì)了總榜上前 25 名模型的 1v1 勝率。
可以看到,o1-preview 對所有模型的勝率都超過了 50%,對比 04-09 版 GPT-4-Turbo 的勝率最高,達(dá)到了 88%。
o1-mini 如果對戰(zhàn) o1-preview,勝率為 46%,對 09-03 版 GPT-4o 的勝率為 48%,可以說是大體平手、稍遜一籌的狀態(tài)。
值得注意的是,雖然 Grok-2-mini 和 Claude 3.5 Sonnet 都排在比較靠后的位置,但 o1-preview 對這兩個(gè)模型的勝率并不高,分別是 58% 和 57%,大大小于排名第四的 Gemini 1.5 Pro 的 69%。
如果看到細(xì)分領(lǐng)域的排行榜,尤其是數(shù)學(xué) / 推理領(lǐng)域,效果則更加驚艷。o1-preview 和 o1-mini 不僅是登頂數(shù)學(xué)排行榜,而且是體現(xiàn)出了絕對的領(lǐng)先優(yōu)勢。
排在第三、第四的 Claude 3.5 Sonnet、Gemini 1.5 Pro 和 08-08 版 ChatGPT-4o 的均分都在 1275 左右,不相上下;o1-preview 和 o1-mini 則一騎絕塵,分?jǐn)?shù)飆到 1360 附近,直接碾壓。
o1 推理團(tuán)隊(duì)的領(lǐng)導(dǎo)者之一 William Fedus 看到這張圖也是相當(dāng)開心,他表示這張圖「很好地用視覺表達(dá)了范式轉(zhuǎn)換」。
看來最新的 o1 模型在 STEM 學(xué)科和通用推理方面的確又達(dá)到了新高度,用實(shí)際測評結(jié)果回應(yīng)了「AI 遇冷」、「OpenAI 碰壁」的質(zhì)疑聲。
「那就繼續(xù)期待 OpenAI 接下來的發(fā)布吧!」
但一些人感嘆「未來可期」的同時(shí),另一些人想到了自己不多的智商和頭發(fā)。
「模型搞得這么好了,測試就不適合我這種蠢人了?!?/p>
同時(shí),也有一些人表達(dá)了對 lmsys 排行榜結(jié)果的質(zhì)疑。
比如,眾所周知的 o1 模型推理時(shí)間長,因而回答的延時(shí)也長,和其他模型都有明顯差別;而且不同于各類基準(zhǔn)測試的客觀標(biāo)準(zhǔn),lmsys 社區(qū)中完全基于用戶的主觀評分,難說這里面是否存在「安慰劑效應(yīng)」。
也有人不服 o1 在編碼排行榜上的第一,認(rèn)為雖然 o1-mini 非常適合進(jìn)行項(xiàng)目規(guī)劃,但在 Cursor 這類編碼助手中還是 Claude 模型的表現(xiàn)最佳。
排行榜的結(jié)果當(dāng)然不是全部,o1 模型能否繼續(xù)贏得口碑,同時(shí)保持住智力水平不變蠢,還要看接下來的一段時(shí)間。
IOI 金牌代碼全公開
說到 o1 模型的編碼能力,不知道你還是否記得,剛發(fā)布時(shí) OpenAI 提到了這樣一個(gè)指標(biāo):如果放寬提交約束到每個(gè)問題允許 1 萬次提交,o1 可以達(dá)到高于 IOI 金牌門檻的分?jǐn)?shù)。
在模擬進(jìn)行的 Codeforces 編程競賽中,使用相同的規(guī)則進(jìn)行評估,o1-preview 可以打敗 62% 的人類選手,正式版 o1 則上升到超越 89% 的對手。
專門微調(diào)過的 o1-ioi 模型,表現(xiàn)優(yōu)于 93% 的競爭對手。
此外,前段時(shí)間有用戶在實(shí)時(shí)的 Codeforces 比賽中使用了 o1 模型,結(jié)果是超越了 99.8% 的人類選手。
由于 o1 在編程競賽領(lǐng)域的表現(xiàn)如此突出,引起了 AI 社區(qū)強(qiáng)烈的興趣和好奇,OpenAI 于是選擇發(fā)布 o1 模型提交的代碼內(nèi)容,包括 6 個(gè)問題的全部 C++ 代碼以及注釋。
對于 o1 的驚艷表現(xiàn),Alexander Wei 自己都很驚訝。
他本人在 9 年前曾參加 IOI 競賽,但從未想到自己這么快就需要和 AI 競爭,模型展現(xiàn)出的推理過程的復(fù)雜程度令人印象深刻。
博文表示,雖然 o1 模型距離人類的頂級表現(xiàn)還有很長的一段路要走,但我們期待有一天能實(shí)現(xiàn)這個(gè)目標(biāo)。
這個(gè)發(fā)展軌跡讓人想起了 AlphaGo—— 從水平高超,到能和人類頂級高手不分勝負(fù),再到 5-0 完全碾壓李世石。
OpenAI 想要達(dá)成的,估計(jì)就是究極進(jìn)化的、能在編程上碾壓人類頂級高手的 AlphaZero。
此處公布代碼的 6 個(gè)問題具體如下:
有網(wǎng)友指出,其中最令人印象深刻的應(yīng)該是象形文字(hieroglyphs)問題,o1 模型總共得到 44 分,在現(xiàn)場的所有選手中排名第四。這表明,模型或許可以破譯一些人類無法解決的子任務(wù)。
前幾天,一位目前在 NASA 工作的天體物理學(xué)博士就嘗試讓 o1 復(fù)現(xiàn)自己論文中的代碼,結(jié)果一試嚇一跳 —— 自己讀博時(shí)花了 1 年寫出的代碼,o1 只用了一小時(shí)就寫完了。
這還只是裸模型,如果加上代碼解釋器、網(wǎng)絡(luò)實(shí)時(shí)搜索等各種工具,效果想必更加驚艷。
而且,Reddit 網(wǎng)友還送來了溫馨提示:這只是 o1 預(yù)覽版哦,可以狠狠期待一下不到一個(gè)月就即將問世的正式版 o1 了。
此外,這位網(wǎng)友還表示,o1 基本沿用了 GPT-4 的架構(gòu);那你想,改換架構(gòu)后的 GPT-5(也就是傳說中的獵戶座)能達(dá)到什么高度。
參考資料:
https://x.com/lmsysorg/status/1836443278033719631
https://codeforces.com/blog/entry/134091
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。