DeepSeek 和 o1 / o3 一類推理大模型持續(xù)帶來震撼之際，有人開始研究他們的弱點了。
最新研究揭示：在遇到高難度問題時，推理大模型可能像“三心二意的學(xué)生”一樣頻繁切換解題思路，卻因缺乏深入探索而失敗 —— 這種現(xiàn)象被研究者稱為 Underthinking（欠思考）。
研究團(tuán)隊來自騰訊 AI 實驗室、蘇州大學(xué)和上海交通大學(xué)，主要研究對象是開源的 DeepSeek-R1 和 Qwen QwQ 系列模型。
通過分析 AI 的錯誤答案，他們發(fā)現(xiàn)當(dāng)前的推理大模型經(jīng)常在思考早期就走上了正確的路線，但傾向于“淺嘗輒止”，很快開始探索別的思路，導(dǎo)致后續(xù)生成的數(shù)千個 tokens 對解題毫無貢獻(xiàn)。
這種“無效努力”不僅浪費計算資源，還顯著降低了答案的正確率。
“三心二意”是罪魁禍?zhǔn)?/h2>
這一現(xiàn)象在解決數(shù)學(xué)競賽題等更為復(fù)雜任務(wù)時尤為明顯。
為了系統(tǒng)分析，團(tuán)隊在三個具有挑戰(zhàn)性的測試集 MATH500、GPQA Diamond 和 AIME2024 上，對類 o1 模型 QwQ-32B-Preview、DeepSeek-R1-671B 等進(jìn)行了實驗。
下圖比較了正確和錯誤回答中的 token 使用量和思維切換次數(shù)。平均來看，類 o1 模型在錯誤回答中比正確回答多消耗了 225% 的 token，原因是思維切換頻率增加了 418%。
為了深入分析這一現(xiàn)象，研究團(tuán)隊開發(fā)了一套評估框架，用于判斷被放棄的推理路徑是否實際上足以推導(dǎo)出正確答案。
結(jié)果觀察到，許多模型在回答開頭階段的思路是正確的，但并未繼續(xù)深入完成推理。
超過 70% 的錯誤回答中至少包含一個正確的思路。此外，在超過 50% 的錯誤回答中，有 10% 以上的思路是正確的。
如下圖所示的例子，例如，Thought 1 通過識別給定方程類似于以 (0,0) 和 (20,11) 為中心的橢圓方程，啟動了正確的解釋。將兩個表達(dá)式設(shè)為相等，是尋找滿足這兩個方程的公共點 (x, y) 的有效方法。
然而，模型并未專注于深入探索這一合理思路，使用進(jìn)一步的代數(shù)操作和優(yōu)化技術(shù)進(jìn)行分析，而是頻繁切換思路，額外消耗了約 7270 個 token，卻依然未能得出正確答案。
最終，它得出一個缺乏擴(kuò)展 COT 過程支持的猜測答案。
基于這些觀察，研究人員提出了一個用于量化 Underthinking 程度的指標(biāo)（Underthinking Metric）。
這個指標(biāo)通過測量錯誤答案中的 token 使用效率來評估推理效率，計算從回答開始到第一個正確思路出現(xiàn)所需的 token 數(shù)量與總 token 數(shù)量的比值。
實驗結(jié)果表明，所有測試的類 o1 模型都存在顯著的思維不足問題。模型的準(zhǔn)確率與思維不足之間的關(guān)系在不同數(shù)據(jù)集上表現(xiàn)各異。
在 MATH500-Hard 和 GPQA Diamond 數(shù)據(jù)集上，性能更優(yōu)的 DeepSeek-R1-671B 模型在取得更高準(zhǔn)確率的同時，其 UT 得分也更高，表明錯誤回答中存在更多思維不足。
這意味著，盡管模型整體能力更強，但在不確定時可能生成更長但效率較低的推理過程，可能是因為模型探索了多個錯誤的推理路徑，卻未能有效收斂到正確解答。
相反，在 AIME2024 測試集中，DeepSeek-R1-671B 模型不僅取得了更高的準(zhǔn)確率，還表現(xiàn)出較低的 UT 得分，反映出較少的思維不足和更高的 token 效率。
這表明模型在該任務(wù)中，即使未得出正確答案，其推理過程依然保持專注和高效，團(tuán)隊表示這可能是因為模型與 AIME2024 所要求的問題類型和推理過程更好地對齊。
理解思維不足現(xiàn)象對于開發(fā)能夠提供正確答案并具備有效推理過程的模型至關(guān)重要。
如何讓 AI 學(xué)會“一心一意”
如何讓模型像優(yōu)秀學(xué)生一樣“沉下心來鉆研”？
研究者借鑒了人類考試策略，提出了一種“思路切換懲罰機制” （Thought Switching Penalty，TIP）。其原理類似于考試時給自己定規(guī)矩：“先專注當(dāng)前方法，至少嘗試 10 分鐘再換思路”。
技術(shù)細(xì)節(jié)上，TIP 會對觸發(fā)思路切換的關(guān)鍵詞施加懲罰，降低這些詞在解碼過程中的生成概率，迫使模型在當(dāng)前路徑上探索更久。
例如，當(dāng)模型開始寫“Alternatively, we can consider…”時，TIP 會通過調(diào)整參數(shù)（懲罰強度 α 和持續(xù)時間 β），抑制這種過早的切換傾向。
實驗結(jié)果顯示，加入 TIP 能讓模型在數(shù)學(xué)測試上的準(zhǔn)確率上升，同時 UT Score 下降，說明既減少了無效切換，又提高了答案質(zhì)量。
例如在 AIME2024 數(shù)學(xué)競賽測試上，加入 TIP 的 QwQ-32B-Preview 模型準(zhǔn)確率從 41.7% 提升至 45.8%，同時 UT Score 從 72.4 降至 68.2。
并且這種“無痛升級”無需重新訓(xùn)練模型，僅需調(diào)整解碼策略，展現(xiàn)了其實用價值。
One More Thing
UC Berkeley 教授 Alex Dimakis 幾乎同時分享了類似的觀察，
對于 DeepSeek-R1 和所有推理模型，錯誤的答案更長，而正確的答案要短得多。
基于此，他們提出一個簡單的解決辦法，稱為“簡潔解碼” （Laconic decoding）。
并行運行 5 次模型，從答案中選擇 tokens 最少的。
初步實驗結(jié)果表示，簡潔解碼在 AIME2024 測試上能提高 6%-7% 的準(zhǔn)確率，比 Consensus Decoding 更好也更快。
參考鏈接：
[1]https://x.com/tuzhaopeng/status/1885179412163027406
[2]https://x.com/AlexGDimakis/status/1885447830120362099
本文來自微信公眾號：量子位（ID：QbitAI），作者：夢晨西風(fēng)
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。