最新大語言模型推理測試引眾議，DeepSeek R1 常常在提供錯誤答案前就“我放棄”了？？
Cursor 剛剛參與了一項(xiàng)研究，他們基于 NPR 周日謎題挑戰(zhàn)（The Sunday Puzzle），構(gòu)建了一個(gè)包含近 600 個(gè)問題新基準(zhǔn)測試。
這些謎題特點(diǎn)是很好理解，不需要專業(yè)知識就能看懂，然鵝解決起來卻沒那么容易。
舉個(gè)栗子：
想一個(gè)熟悉的五個(gè)字母、兩個(gè)音節(jié)的單詞。將中間字母改為字母表中該字母前面的字母，你將得到一個(gè)熟悉的五個(gè)字母、三個(gè)音節(jié)的單詞。這個(gè)單詞是什么？
標(biāo)準(zhǔn)答案是 alpha → aloha，很容易驗(yàn)證。
但這樣的題，即便是在美國長大講英語的成年人，五天也很難解出來。
研究人員用此最新基準(zhǔn)，對 OpenAI o1、OpenAI o3-mini、DeepSeek R1 和 Google Gemini Flash Thinking 等模型進(jìn)行測試，結(jié)果發(fā)現(xiàn)這些最新一代的推理模型解決這樣的謎題也很具挑戰(zhàn)性。
他們還表示，研究揭示了一些新的模型“故障”模式，這在現(xiàn)有的基準(zhǔn)測試中并不明顯。
比如 DeepSeek R1 會在推理過程中直接放棄，然后給一個(gè)它明知是錯誤的答案，有時(shí)還會陷入“無限思考”狀態(tài)。
具體來看看是怎么回事。
周日謎題挑戰(zhàn)數(shù)據(jù)集
NPR Sunday Puzzle Challenge，是美國一檔廣播智力游戲節(jié)目，自 1987 年以來一直在播，每周日聽眾都會收到一個(gè)簡短謎題。
這些謎題通常涉及字母游戲，只需要普通的英語知識和美國文化常識就能理解。
不過每個(gè)謎題通常只有一個(gè)或極少數(shù)正確答案，題目難度各異，即便聽眾有整整五天的時(shí)間思考，有時(shí)最后也只有少數(shù)聽眾能想出正確答案。而當(dāng)答案揭曉時(shí)，聽眾們都會恍然大悟覺得這個(gè)答案既正確又優(yōu)雅。
最近，來自韋爾斯利學(xué)院、得克薩斯大學(xué)奧斯汀分校、查理大學(xué)、Cursor、歐柏林學(xué)院、美國東北大學(xué)的研究團(tuán)隊(duì)，從網(wǎng)上抓取了 13 年的周日謎題挑戰(zhàn)記錄構(gòu)建了一個(gè)數(shù)據(jù)集。
他們認(rèn)為，目前一些最新基準(zhǔn)測試用非常難的任務(wù)評估模型，比如大學(xué)級數(shù)學(xué)競賽問題、編程問題以及需要在學(xué)術(shù)領(lǐng)域深入的領(lǐng)域?qū)I(yè)知識問題，這種設(shè)計(jì)不僅對人類來說難以解決，而且也非常難以理解和驗(yàn)證。
也就是說，大多數(shù)人或無法檢查答案是否確實(shí)正確，或無法驗(yàn)證模型在推理上是否正確且有效。
于是，他們從這個(gè)節(jié)目的“off-air challenges”中整理出了近 600 個(gè)問題作為測試數(shù)據(jù)集。
這些題目很好理解且便于驗(yàn)證。
在整理過程中，他們補(bǔ)充了必要的上下文信息（時(shí)間、地點(diǎn)等），比如在一個(gè)關(guān)于電影名稱的謎題中，特意標(biāo)注了具體年份，避免歧義。
電影 Wild Wild West 的首字母縮寫是三個(gè) W。請問
去年2013 年哪部著名電影的首字母縮寫有兩個(gè) W？標(biāo)準(zhǔn)答案：The Wolf Of Wall Street
為確保每個(gè)問題的答案清晰明確，大多數(shù)挑戰(zhàn)都有一個(gè)或少數(shù)幾個(gè)獨(dú)特答案，像下面這樣?jì)饍河性S多答案的問題都被 pass 掉了：
然后團(tuán)隊(duì)用該基準(zhǔn)評估了一眾頂流推理模型，包括 OpenAI o1、o1-mini、o3-mini，DeepSeekR1、谷歌 Gemini 2.0 Flash Thinking Experimental01-21，作為對照，還測試了不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5。
測試采用 zero-shot prompting，直接向模型提供問題，不給任何額外的格式說明或指導(dǎo)。
不過有些謎題題目本身自帶示例說明：
SWITZERLAND（瑞士）的字母可以重新排列成 LIZARD（蜥蜴）和 NEWTS（蠑螈）兩個(gè)單詞，LIZARD 是一個(gè)動物的單數(shù)形式，而 NEWTS 是復(fù)數(shù)形式。請?jiān)僬f出另一個(gè)具有相同特性的國家。即另一個(gè)其字母可以重新排列來拼寫兩種動物 —— 一個(gè)單數(shù)和一個(gè)復(fù)數(shù)的國家。它是一個(gè)主要國家。這個(gè)國家是哪一個(gè)？
標(biāo)準(zhǔn)答案：Mexico（墨西哥） → ox（牛），mice（老鼠）
團(tuán)隊(duì)給出的最終測試結(jié)果卻出人意料。
根據(jù)下圖該基準(zhǔn)的平均準(zhǔn)確率，OpenAI o1 表現(xiàn)最優(yōu)，準(zhǔn)確率為 59%；然后是 o3-mini，準(zhǔn)確率為 47%，DeepSeek R1 準(zhǔn)確率為 35%。
不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5 明顯不如推理模型。
出人意料的點(diǎn)在于，在博士級科學(xué)問題 GPQA 基準(zhǔn)上，DeepSeek R1、OpenAI o1 和 o3-mini 的表現(xiàn)差距不大，然而在該基準(zhǔn)上 o1 在通用知識方面卻顯示出明顯的優(yōu)勢。
團(tuán)隊(duì)還觀察到一些新的模型“故障”模式 —— 推理半道“I give up”。
這種放棄表現(xiàn)出兩種形式，一種是給出一個(gè)在推理過程中完全沒有出現(xiàn)過的“憑空”答案。
另一種是明知違反問題約束但仍然給出答案，常發(fā)生在下面這種問題中：
想一個(gè)包含三個(gè)音節(jié)的八個(gè)字母的單詞，每個(gè)音節(jié)中都包含字母“I”，但奇怪的是，沒有一個(gè)“I”發(fā)音，無論是長音還是短音。答案不是復(fù)數(shù)形式。這個(gè)單詞是什么？
標(biāo)準(zhǔn)答案：Daiquiri
以 DeepSeek R1 為例，它給出了“queueing”這個(gè)答案，并直接表示這個(gè)答案“有點(diǎn)牽強(qiáng)”，還解釋有些人可能會把“queueing”發(fā)音為“kyoo-ee-ing”。
團(tuán)隊(duì)表示，在 595 個(gè)測試問題中，DeepSeek R1 在 142 個(gè)問題上明確“放棄”。
此外，他們還發(fā)現(xiàn) R1 等會陷入“無限思考”的狀態(tài)，在達(dá)到 32768token 上下文輸出限制前無法完成推理，并沒有 </think>。
特別在以下兩個(gè)挑戰(zhàn)中 R1 表現(xiàn)不佳，在 10 次試驗(yàn)中有 5 次未能完成推理。
即使將限制提高到 128K，這個(gè)問題仍然存在，由此，團(tuán)隊(duì)認(rèn)為 R1 需要某種推理時(shí)機(jī)控制機(jī)制，鼓勵模型在接近輸出 token 限制時(shí)結(jié)束推理。
研究人員還發(fā)現(xiàn)，這些推理模型有時(shí)會表現(xiàn)出異常的不確定性，可能會提出一個(gè)答案，馬上又收回，然后嘗試給出新答案。
在某些情況下，模型很早就找到了正確答案，但仍會繼續(xù)探索其它可能性。
最后團(tuán)隊(duì)分析了推理長度與準(zhǔn)確率的關(guān)系，發(fā)現(xiàn)在輸出約 10000 個(gè) token 后，繼續(xù)推理對提升準(zhǔn)確率的幫助不大。
對于 R1 來說，在輸出約 3000 token 時(shí)就開始超過 Gemini Thinking 的表現(xiàn)。
新基準(zhǔn)引發(fā)網(wǎng)友熱議
這項(xiàng)研究發(fā)布后，在 Hacker News 上引起網(wǎng)友熱烈討論。
其中最具爭議的一個(gè)點(diǎn)在于，有網(wǎng)友認(rèn)為這項(xiàng)研究并非傳統(tǒng)意義上的“推理”挑戰(zhàn)：
解決這些問題所需的核心技能似乎是知曉“流行品牌名”或“知名演員”等類別的所有已知名稱，檢查它們是否符合。
作為人類，你可能會因?yàn)椴恢滥硞€(gè)特別名稱而永遠(yuǎn)無法回答某個(gè)問題，例如不是美國人，我不知道“Citgo”是什么，我這輩子從未見過這個(gè)名。
網(wǎng)友表示這的確是一個(gè) AI 系統(tǒng)原則上可能真正擅長的事情，但當(dāng)測試內(nèi)容過于側(cè)重“記憶回憶”時(shí)，把它稱為“推理”似乎很奇怪。
如果問題是多項(xiàng)選擇的，消除了讓候選答案浮現(xiàn)在腦海中的挑戰(zhàn)，那么我會同意這是一個(gè)“推理”測試。
持此觀點(diǎn)的網(wǎng)友不在少數(shù)。
我有同樣的想法。這讓我想起解決 Project Euler 問題，通常存在一種明顯的簡單方法可以保證得出正確答案，但如果執(zhí)行到完成，將消耗過多的內(nèi)存 / 計(jì)算資源。如果提示模型制定一種有效解決這些挑戰(zhàn)的策略，而不是直接解決它們，模型的表現(xiàn)可能會好得多…… 這表明了一個(gè)潛在的改進(jìn)方向。
另外，針對模型表現(xiàn)不一，也有網(wǎng)友提出能否確定這些謎題和答案沒被加到模型的訓(xùn)練數(shù)據(jù)中的疑問。
聚焦到研究結(jié)果上，網(wǎng)友對研究中的發(fā)現(xiàn)很感興趣：
有趣的是，模型在推理中經(jīng)常包含正確答案，但卻沒能意識到這一點(diǎn)。
數(shù)草莓問題中“r”這一問題也再被網(wǎng)友搬出，有網(wǎng)友認(rèn)為模型表現(xiàn)不佳的關(guān)鍵還是在分詞器上。
對于這項(xiàng)研究你怎么看？
論文鏈接：https://arxiv.org/abs/2502.01584
測試結(jié)果和數(shù)據(jù)集：https://huggingface.co/spaces/nuprl/verbal-reasoning-challenge
參考鏈接：https://news.ycombinator.com/item?id=42992336
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風(fēng)
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。