IT之家 11 月 15 日消息，研究機構(gòu) Epoch AI 現(xiàn)公布了一款名為 FrontierMath 的全新 AI 模型數(shù)學(xué)基準測試集，旨在評估系列模型的數(shù)學(xué)推理能力。
與現(xiàn)有諸如 GSM-8K、MATH 等測試題集不同，F(xiàn)rontierMath 中的數(shù)學(xué)問題號稱特別復(fù)雜，收錄了現(xiàn)代數(shù)學(xué)中的數(shù)論、代數(shù)和幾何等領(lǐng)域，這些題目的難度據(jù)稱極高，甚至人類專家解答往往需要數(shù)小時甚至數(shù)天的時間。
IT之家獲悉，F(xiàn)rontierMath 的題目由人工智能學(xué)方面資深專家設(shè)計，相應(yīng)問題號稱不僅要求 AI 理解數(shù)學(xué)概念，還需要具備復(fù)雜情境的推理能力，以避免模型利用以前學(xué)習(xí)過的類似題目進行比對作答。
研究機構(gòu)表示，他們利用 FrontierMath 對當(dāng)前市場上的 AI 模型進行初步測試，發(fā)現(xiàn)這些模型普遍表現(xiàn)不佳，包括此前在 GSM-8K、MATH 上取得近乎滿分成績的 Claude 3.5 和 GPT-4 等模型在 FrontierMath 中的解題成功率也均敗北（成功率低于 2%）。
研究團隊指出，AI 在解決高級數(shù)學(xué)問題時的主要困難在于這些模型通常依賴于訓(xùn)練數(shù)據(jù)中學(xué)過的類似題目來生成答案，而不是對問題本身的邏輯結(jié)構(gòu)進行真正的理解和推理。這意味著目前業(yè)界大部分 AI 模型只要遇到?jīng)]學(xué)過的題目，就容易出錯，而這一原則性的問題難以實際上無法通過“暴力增加模型規(guī)?！苯鉀Q，需要研發(fā)人員從模型推理架構(gòu)層面進行深入改造。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。