谷歌和 OpenAI 又杠上了。
在新版 GPT-4o 剛登頂競技榜后 1 天,立馬發(fā)布最新試驗版模型 Gemini-Exp-1121 奪回冠軍寶座。
要知道,一周前上一版模型 Gemini-Exp-1114 才發(fā)布。這怕不是拿準(zhǔn)了 OpenAI 會來爭擂臺,故意留了一手。
這就是引誘 OpenAI 發(fā)新版 GPT-4o,然后再用更好的模型來狙擊它。
谷歌的研究人員們顯然很得意。
谷歌 DeepMind 首席科學(xué)家 Jack Rae,稱這是一場有趣的后訓(xùn)練“閃電戰(zhàn)”。暗示 post-training 的迭代速度要比預(yù)訓(xùn)練快得多。
DeepMind 研究副總裁 Oriol Vinyals 還隔空發(fā)問奧特曼:最近還有提交計劃嗎?
火藥味很足,也很自信啊。
所以“1121”有多強(qiáng)?來看具體性能。
代碼 / 推理 / 視覺理解全提升
按照官方說法,Gemni-Exp-1121 重點提升了三方面性能。
代碼能力顯著提升
更強(qiáng)推理能力
更強(qiáng)視覺理解能力
除了風(fēng)格控制外,其他方面目前都位于第一。
在視覺能力方面,Gemini-Exp-1121 比上一版還有提升。
風(fēng)格控制下的復(fù)雜提示詞方面,Gemini-Exp-1121 和 o1-preview、New Sonnet 3.5 水平相當(dāng)。
競技場中的實際勝率如下。
現(xiàn)在也能直接上手體驗。
比如針對同一張漫畫,讓 Gemini-Exp-1121 和 GPT-4o-lastest-1120 給出理解。
Gemini-Exp-1121 的回答更加全面且詳細(xì),并且善用小標(biāo)題、重點加粗。
新版 4o 的回復(fù)就比較簡短和籠統(tǒng)。
在經(jīng)典的動物過河邏輯推理題上,Gemini-Exp-1121 回答完全正確,新版 4o 出現(xiàn)了一些失誤,把第三次過河和第四次過河合并了,因此回答有誤。
問題:農(nóng)夫需要把狼、羊和白菜都帶過河,但每次只能帶一樣物品,而且狼和羊不能單獨相處,羊和白菜也不能單獨相處,問農(nóng)夫該如何過河。
One More Thing
值得一提的是,OpenAI 這邊也有新消息。
有人在 ChatGPT 最新測試版本中首次發(fā)現(xiàn)了“實時攝像”(Live Camera)視頻功能的代碼。
它具體包括實時錄像、實時處理、語音模式集成以及視覺識別能力。
在高級語音模式推出時,一些用戶有體驗到這一能力。
這意味著 OpenAI 已經(jīng)做好了上線這一功能的準(zhǔn)備。
另一邊谷歌也演示過類似的 demo,還沒上線。按照 OpenAI 的調(diào)性,很可能會搶在谷歌前全量鋪開。
或許等到明年,和 Chatbot 的主要交流方式,就要從文字對話轉(zhuǎn)為語音和 agent 了。Live Camera 可能就是開始,你覺得呢?
本文來自微信公眾號:量子位(ID:QbitAI),作者:明敏,原標(biāo)題《谷歌 Gemini 突發(fā)試驗版模型,重回競技榜第一!新版 GPT-4o 只領(lǐng)先了 1 天》
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。