IT之家 10 月 12 日消息，據(jù) AAAI（國(guó)際先進(jìn) AI 協(xié)會(huì)）官網(wǎng)，由學(xué)而思牽頭，聯(lián)合谷歌、暨南大學(xué)等多家科技企業(yè)、高校的專(zhuān)家和學(xué)者，將共同舉辦 AAAI 2024 全球大模型數(shù)學(xué)推理競(jìng)賽。
該比賽分為中文數(shù)學(xué)解題、英文數(shù)學(xué)解題兩個(gè)方向，由學(xué)而思提供比賽所用的中英文數(shù)據(jù)集 TAL-SAQ7K-CN、TAL-SAQ6K-EN。據(jù)稱(chēng)，該數(shù)據(jù)集囊括了國(guó)內(nèi)外多個(gè)中小學(xué)數(shù)學(xué)競(jìng)賽真題。
這次競(jìng)賽也將是全球首次數(shù)學(xué)大模型解題競(jìng)賽，主辦方提供了 3 個(gè)作為參考的測(cè)評(píng)基準(zhǔn)：GPT-3.5、GPT-4、好未來(lái)自研數(shù)學(xué)大模型 MathGPT。
在比賽期間，參賽者需使用大模型對(duì)給定的數(shù)學(xué)題目生成推理步驟、答案，主辦方將通過(guò)對(duì)比參賽模型輸出答案與正確答案之間的準(zhǔn)確率，來(lái)進(jìn)行排名。主辦方表示，希望在本次競(jìng)賽中要求參賽者使用大語(yǔ)言模型來(lái)解決 K-12 數(shù)學(xué)問(wèn)題。（IT之家注：K-12 代指學(xué)前教育至高中教育，普遍用來(lái)代指基礎(chǔ)教育。在美國(guó)教育體系中，指的是從幼兒園到 12 年級(jí)期間的駕馭階段）
據(jù)介紹，當(dāng)前大語(yǔ)言模型具備缺乏復(fù)雜推理能力、數(shù)值計(jì)算不準(zhǔn)確等“先天缺陷”。若大模型能夠克服它們，成功應(yīng)對(duì)數(shù)學(xué)推理的挑戰(zhàn)時(shí)，AI 將進(jìn)入一個(gè)“嶄新時(shí)代”。
此次比賽日程如下：
2023 年 10 月 10 日：開(kāi)始
2023 年 12 月 31 日：最終提交截止日期
2024 年 1 月 10 日：公布最終比賽結(jié)果
獎(jiǎng)項(xiàng)如下：
兩個(gè)方向的前三名將獲得現(xiàn)金獎(jiǎng)勵(lì)：一等獎(jiǎng) 1000 美元，二等獎(jiǎng) 600 美元，三等獎(jiǎng) 300 美元。
兩個(gè)方向的前三名將獲得正式證書(shū)，并受邀在 2024 年 AAAI（國(guó)際先進(jìn) AI 協(xié)會(huì)）的大會(huì)期間作口頭報(bào)告。
前三名團(tuán)隊(duì)第一作者將受邀撰寫(xiě)競(jìng)賽綜述論文。
參考
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。