IT之家 7 月 31 日消息，人們正在越來(lái)越多地使用大模型完成各種任務(wù)，不論是翻譯、總結(jié)文章還是識(shí)別金融詐騙，大模型都是“無(wú)所不包”。盡管這些模型都具有“驚人”能力，但它們偶爾也會(huì)生成錯(cuò)誤答案，并對(duì)錯(cuò)誤答案過(guò)于自信、對(duì)正確答案信心不足，使用戶對(duì)大模型是否值得信任表示懷疑。
據(jù) MIT NEWS 今日?qǐng)?bào)道，麻省理工學(xué)院（MIT）和 MIT-IBM Watson AI Lab 的研究人員提出了一種專為大型語(yǔ)言模型量身定制的校準(zhǔn)方法。他們的方法被稱為“溫度計(jì)”，其原理是在大語(yǔ)言模型之上構(gòu)建一個(gè)較小的輔助模型來(lái)對(duì)其進(jìn)行校準(zhǔn)。
據(jù)悉，這種被叫作“溫度計(jì)”的方法所需的計(jì)算能力更少，但同時(shí)又能保持模型的準(zhǔn)確性，并使其能夠在未曾遇到過(guò)的任務(wù)中做出更好的校準(zhǔn)響應(yīng)。
通過(guò)針對(duì)各種任務(wù)對(duì)大語(yǔ)言模型進(jìn)行高效校準(zhǔn)，“溫度計(jì)”可以幫助用戶找出模型對(duì)錯(cuò)誤預(yù)測(cè)過(guò)于自信的情況，最終防止用戶在可能失敗的情況下部署該模型。
有關(guān)論文的第一作者、麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)研究生沈茂豪（IT之家注：音譯）表示，“我們希望向用戶提供一個(gè)明確的信號(hào)，告訴他們模型的回應(yīng)是準(zhǔn)確還是不準(zhǔn)確，以反映模型的不確定性，讓他們知道模型是否可靠?！?/p>
借助“溫度計(jì)”，研究人員開發(fā)出了一種多功能技術(shù)，利用一種被稱為“溫度縮放”的經(jīng)典校準(zhǔn)方法，為新任務(wù)有效地校準(zhǔn)大語(yǔ)言模型。在此背景下，“溫度”是一個(gè)縮放參數(shù)，用于調(diào)整模型的“信心”以與其預(yù)測(cè)準(zhǔn)確性一致。
研究人員訓(xùn)練了一個(gè)輔助模型，該模型在大型語(yǔ)言模型之上運(yùn)行，自動(dòng)預(yù)測(cè)校準(zhǔn)新任務(wù)所需的“溫度”。“溫度計(jì)”只需要訪問(wèn)大型語(yǔ)言模型內(nèi)部的一個(gè)小部分，就能預(yù)測(cè)出特定任務(wù)數(shù)據(jù)點(diǎn)的正確“溫度”，以校準(zhǔn)其預(yù)測(cè)。
該團(tuán)隊(duì)希望未來(lái)使“溫度計(jì)”支持更復(fù)雜的文本生成任務(wù)，并將該技術(shù)應(yīng)用于更大的大型語(yǔ)言模型。
參考
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。