【新智元導(dǎo)讀】只有 10 億參數(shù)的 xLAM-1B 在特定任務(wù)中擊敗了 LLM 霸主：OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。上個(gè)月剛發(fā)布的蘋果智能模型只有 30 億參數(shù)，就連阿爾特曼都表示，我們正處于大模型時(shí)代的末期。那么，小語(yǔ)言模型（SLM）會(huì)是 AI 的未來(lái)嗎？
大語(yǔ)言模型的 Scaling Law 被一些人視為「金科玉律」，但另一些人卻不以為意。前陣子，香港大學(xué)馬毅教授就公開(kāi)宣稱，「如果相信只靠 Scaling Law 就能實(shí)現(xiàn) AGI，你該改行了」。
確實(shí)有很多模型不是單純靠資源的堆砌，而是憑借創(chuàng)新能力脫穎而出。驗(yàn)證了一條不同于 Scaling Law 的道路 —— 少即是多。
xLAM-1B 就是如此，只有 10 億參數(shù)，但是在功能調(diào)用任務(wù)中表現(xiàn)優(yōu)于更大規(guī)模的模型，包括 OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。
它也因此被稱為「Tiny Giant」—— 小巨人！
憑借遠(yuǎn)超預(yù)期的卓越性能，這個(gè)小模型或許會(huì)改變端側(cè) AI 的格局。
西方將這種以弱勝?gòu)?qiáng)的故事稱之為「David-versus-Goliath」（大衛(wèi)迎戰(zhàn)歌利亞），這源于一個(gè)圣經(jīng)故事 —— 大衛(wèi)與巨人歌利亞作戰(zhàn)時(shí)還是個(gè)孩子，他不像歌利亞那樣穿著盔甲，他撿了一塊石頭，放在投石器里。把石頭甩出去，擊中歌利亞的額頭，擊倒了這個(gè)巨人。
科技媒體 Venturebeat 在報(bào)道這個(gè)小模型時(shí)，就將之比喻為人工智能領(lǐng)域的「大衛(wèi)迎戰(zhàn)歌利亞」時(shí)刻。
我們最關(guān)心的一點(diǎn)是，xLAM-1B 是如何做到的？
簡(jiǎn)言之，這得益于在數(shù)據(jù)處理上的創(chuàng)新方法。其背后團(tuán)隊(duì)開(kāi)發(fā)了 APIGen，這是一套自動(dòng)化流程，可以生成高質(zhì)量、多樣化且可驗(yàn)證的數(shù)據(jù)集，用于訓(xùn)練 AI 模型在函數(shù)調(diào)用任務(wù)中的表現(xiàn)。
論文地址：https://arxiv.org/pdf/2406.18518
小而強(qiáng)大：高效 AI 的力量
xLAM-1B 最令人欣喜的在于，它不占地兒。因?yàn)槟Ｐ鸵?guī)模小，所以適合設(shè)備上的應(yīng)用。這對(duì)企業(yè)人工智能的影響是巨大的，它有可能使 AI 助手功能更強(qiáng)大、反應(yīng)更靈敏，并且能在計(jì)算資源有限的智能手機(jī)或其他設(shè)備上本地運(yùn)行。
訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性是支撐 xLAM-1B 強(qiáng)大性能的關(guān)鍵。APIGen 自動(dòng)數(shù)據(jù)生成流水線利用 21 個(gè)不同類別的 3673 個(gè)可執(zhí)行 API，對(duì)每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行了嚴(yán)格的三階段驗(yàn)證：格式檢查、實(shí)際函數(shù)執(zhí)行和語(yǔ)義驗(yàn)證。
各種 AI 模型在不同評(píng)估指標(biāo)下的性能對(duì)比圖。GPT-4-0125-Preview 在總體準(zhǔn)確性方面遙遙領(lǐng)先，而 xLAM-7B 等較小的模型在特定任務(wù)中表現(xiàn)出了競(jìng)爭(zhēng)力，這對(duì)大模型總是表現(xiàn)更好的說(shuō)法提出了挑戰(zhàn)
這種方法代表了人工智能發(fā)展戰(zhàn)略的重大轉(zhuǎn)變。
雖然許多公司都在競(jìng)相建立越來(lái)越大的模型，但 xLAM-1B 所使用的方法表明，更智能的數(shù)據(jù)處理可以帶來(lái)更高效、更有效的人工智能系統(tǒng)。
通過(guò)關(guān)注數(shù)據(jù)質(zhì)量而非模型大小，xLAM-1B 提供了一個(gè)很好的例子，它可以用比競(jìng)爭(zhēng)對(duì)手少得多的參數(shù)執(zhí)行復(fù)雜的任務(wù)。
顛覆 AI 現(xiàn)狀：從 LLM 到 SLM
這一突破的潛在影響絕不僅限于 xLAM-1B 這個(gè)模型的推出。
通過(guò)證明更小、更高效的模型可以與更大的模型競(jìng)爭(zhēng)，xLAM-1B 正在挑戰(zhàn)人工智能行業(yè)的主流觀點(diǎn)，作為小語(yǔ)言模型（SLM）的新軍，和一統(tǒng)江湖的大語(yǔ)言模型（LLM）開(kāi)戰(zhàn)。
科技公司一直在爭(zhēng)相建立最大的大語(yǔ)言模型。例如，今年 4 月，Meta 公司發(fā)布了擁有 4000 億參數(shù)的 Llama 3，它所包含的參數(shù)數(shù)量是 2022 年 OpenAI 最初的 ChatGPT 模型的兩倍。
盡管尚未得到證實(shí)，但 GPT-4 估計(jì)擁有約 1.8 萬(wàn)億個(gè)參數(shù)。
不過(guò)，在過(guò)去幾個(gè)月里，包括蘋果和微軟在內(nèi)的一些最大的科技公司都推出了小語(yǔ)言模型。
這些模型的大小僅為 LLM 對(duì)應(yīng)模型的一小部分，但在許多基準(zhǔn)測(cè)試中，它們?cè)谖谋旧煞矫婵梢耘c LLM 相媲美，甚至更勝一籌。
6 月 10 日，在蘋果公司的全球開(kāi)發(fā)者大會(huì)上，發(fā)布了擁有約 30 億參數(shù)的蘋果智能模型。
4 月底，微軟發(fā)布了其 Phi-3 SLM 系列，擁有 38 億到 140 億個(gè)參數(shù)。
在一系列測(cè)試中，微軟最小的模型 Phi-3-mini 與 OpenAI 的 GPT-3.5（1750 億個(gè)參數(shù)）不相上下，其表現(xiàn)也優(yōu)于谷歌的 Gemma（70 億個(gè)參數(shù)）。
測(cè)試通過(guò)向模型提出有關(guān)數(shù)學(xué)、哲學(xué)、法律等方面的問(wèn)題，評(píng)估了模型對(duì)語(yǔ)言的理解能力。
更有趣的是，擁有 70 億個(gè)參數(shù)的微軟 Phi-3-small 在許多基準(zhǔn)測(cè)試中的表現(xiàn)都明顯優(yōu)于 GPT-3.5。
波士頓東北大學(xué)研究語(yǔ)言模型 Aaron Müller 并不驚訝 SLM 在某些功能上可以與 LLM 相提并論。
Müller 說(shuō)，「這是因?yàn)橐晃对黾訁?shù)數(shù)量并不是提高模型性能的唯一方法，在更高質(zhì)量的數(shù)據(jù)上進(jìn)行訓(xùn)練也能產(chǎn)生類似的結(jié)果?！?/p>
例如，微軟的 Phi 模型是在經(jīng)過(guò)微調(diào)的「教科書(shū)質(zhì)量」數(shù)據(jù)上訓(xùn)練出來(lái)的，這些數(shù)據(jù)的風(fēng)格更加一致，比 LLM 通常依賴的來(lái)自互聯(lián)網(wǎng)的高度多樣化文本更容易學(xué)習(xí)。
同樣，蘋果公司也在高質(zhì)量、更復(fù)雜的數(shù)據(jù)集上訓(xùn)練 SLM。
Müller 表示，更重要的是，SLM 可以使語(yǔ)言模型的使用平民化。
迄今為止，人工智能的開(kāi)發(fā)一直集中在幾家有能力部署高端基礎(chǔ)設(shè)施的大公司手中，而其他規(guī)模較小的公司和實(shí)驗(yàn)室則不得不支付高昂的費(fèi)用來(lái)獲得授權(quán)。
由于 SLM 可以在價(jià)格更低廉的硬件上輕松訓(xùn)練，因此資源有限的人更容易獲得 SLM。
SLM 的興起正值 LLM 之間的性能差距迅速縮小，科技公司希望能在 Scaling Law 之外，探索其他性能升級(jí)途徑。
在 4 月份的一次活動(dòng)中，OpenAI 的首席執(zhí)行官 Altman 表示，他相信我們正處于大模型時(shí)代的末期?！肝覀儗⒁云渌绞阶屇Ｐ妥兊酶谩！?/p>
也就是說(shuō)，經(jīng)過(guò)精心策劃的 SLM 向構(gòu)建可解釋性人工智能更近了一步。
對(duì)于像蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)科學(xué)研究員 Alex Warstadt 這樣的研究人員來(lái)說(shuō)，SLM 還能為一個(gè)長(zhǎng)期存在的科學(xué)問(wèn)題提供新的見(jiàn)解：兒童是如何用很少的文字?jǐn)?shù)據(jù)就學(xué)會(huì)語(yǔ)言和思維的。
Warstadt 和包括東北大學(xué) Müller 在內(nèi)的一批研究人員一起組織了 BabyLM 挑戰(zhàn)賽，參賽者要在小數(shù)據(jù)上優(yōu)化語(yǔ)言模型訓(xùn)練。
SLM 不僅有可能揭開(kāi)人類認(rèn)知的新秘密，還有助于改進(jìn)生成式人工智能。
在兒童 13 歲時(shí)，他們已經(jīng)接觸了約 1 億個(gè)單詞，在語(yǔ)言方面比聊天機(jī)器人更勝一籌，但他們只能獲得 0.01% 的數(shù)據(jù)。
Warstadt 說(shuō)，雖然沒(méi)人知道是什么讓人類如此高效，但「在小規(guī)模上進(jìn)行高效的類人學(xué)習(xí)，當(dāng)擴(kuò)展到 LLM 規(guī)模時(shí)，可能會(huì)帶來(lái)巨大的改進(jìn)」。
重塑 AI 的未來(lái)：從云到設(shè)備
xLAM-1B 展現(xiàn)出的端側(cè) AI 的發(fā)展?jié)摿?，很可能?biāo)志著人工智能領(lǐng)域的重大轉(zhuǎn)變 —— 挑戰(zhàn)「模型越大越好」的觀念，讓人工智能在消耗有限資源的條件下也能持續(xù)生長(zhǎng)。
目前，由于所涉及模型的規(guī)模和復(fù)雜性，許多先進(jìn)的人工智能功能都依賴于云計(jì)算。
如果像 xLAM-1B 這樣的較小模型也能提供類似的功能，就能讓更強(qiáng)大的人工智能助手直接在用戶的設(shè)備上運(yùn)行，從而提高響應(yīng)速度，并解決與基于云的人工智能相關(guān)的隱私問(wèn)題。
隨著邊緣計(jì)算和物聯(lián)網(wǎng)設(shè)備的激增，對(duì)更強(qiáng)大的設(shè)備上人工智能功能的需求也將激增。
xLAM-1B 的成功可能會(huì)催生新一輪的人工智能開(kāi)發(fā)浪潮，其重點(diǎn)是創(chuàng)建為特定任務(wù)量身定制的超高效模型，而不是「樣樣通」的龐然大物。
這可能會(huì)帶來(lái)一個(gè)更加分布式的人工智能生態(tài)系統(tǒng)，在這個(gè)生態(tài)系統(tǒng)中，專業(yè)模型在設(shè)備網(wǎng)絡(luò)中協(xié)同工作，可能會(huì)提供更強(qiáng)大、反應(yīng)更快、更能保護(hù)隱私的人工智能服務(wù)。
這一發(fā)展還能使人工智能能力民主化，讓較小的公司和開(kāi)發(fā)人員無(wú)需大量計(jì)算資源就能創(chuàng)建復(fù)雜的人工智能應(yīng)用。
此外，它還可以減少人工智能碳足跡，因?yàn)檩^小的模型在訓(xùn)練和運(yùn)行時(shí)所需的能源要少得多。
xLAM-1B 給業(yè)界帶來(lái)的沖擊有很多，但有一點(diǎn)是顯而易見(jiàn)的：在人工智能的世界里，大衛(wèi)剛剛證明了他不僅可以與歌利亞競(jìng)爭(zhēng)，還有可能將其淘汰。人工智能的未來(lái)可能不再被巨頭所操控的云端，而是在你自己手中。
參考資料：
https://venturebeat.com/ai/salesforce-proves-less-is-more-xlam-1b-tiny-giant-beats-bigger-ai-models/
https://x.com/SFResearch/status/1807811770267971984?t=j_LOjgVPy41ZpjwkoXmRiQ&s=19
本文來(lái)自微信公眾號(hào)：新智元（ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。