ChatGPT 爆火，Meta 也坐不住了。
微軟和谷歌正在搜索引擎那邊刺刀拼刺刀呢，誰想 Meta 冷不防拋出一篇新論文，頓時(shí)吸引全場目光：
瞄準(zhǔn) ChatGPT 的“軟肋”，讓大語言模型自行學(xué)會了使用工具！
簡單來說，基于 Meta 的這個(gè)思路，ChatGPT 這些大語言模型可以缺啥補(bǔ)啥：
不會算數(shù)，就自己掏出計(jì)算器計(jì)算；需要最新信息，就自己連接搜索引擎搜索……
是不是有點(diǎn) AI 自己操作自己內(nèi)味兒了？
論文一出，不少 AI 研究者就將其視作“過去幾周里最重要的論文”。
這篇論文給人們打開了思路，讓大語言模型未來可以成為所有事情的起點(diǎn)。
還有網(wǎng)友表示：我老婆原本不太關(guān)心 AI，聽說 Meta 這論文都驚了。普通人真的得好好想想這事兒了。
自學(xué)工具用法的大語言模型
這一回，Meta 給這個(gè)會使工具的語言模型起名 Toolformer。
Toolformer 的內(nèi)核邏輯，總結(jié)下來很簡單，就是：
專業(yè)的任務(wù)交給專業(yè)的工具來做。
在生成文本的過程中，遇到特定的任務(wù)，Toolformer 會直接調(diào)用所需工具的 API。
比如說，在執(zhí)行這個(gè)任務(wù)：1400 名參與者，有 400 人通過了測試，占多大比例？（為了讓 ChatGPT 掌握數(shù)學(xué)運(yùn)算，OpenAI 可沒少折騰，詳見量子位：ChatGPT 連夜迭代：你老婆不好使了）
Toolformer 絲毫不慌，直接“掏出”計(jì)算器，現(xiàn)場計(jì)算得出結(jié)果：29%。
又或者說，想要備注個(gè)事情，只知道是周五，具體日期還不知道？
沒關(guān)系，翻出日歷查一下就好了。
甚至翻譯任務(wù)也可以直接丟給它，各國語言都能夠識別并翻譯，直接省去了在軟件切換語言的工夫。
除了這些工具之外，Toolformer 還能夠調(diào)用 Q&A 以及搜索引擎等工具。
這時(shí)，就已經(jīng)有網(wǎng)友開始暢想未來了：
現(xiàn)在，ChatGPT 版必應(yīng)能幫你比較酒店價(jià)格，那未來有了 Toolformer，預(yù)定性價(jià)比高的酒店豈不是也可以甩給 AI 去做了。
不過話說回來，Toolformer 面對不同的任務(wù)都能行云流水般地調(diào)用對應(yīng)的工具，它是怎么做到的呢？
一言以蔽之，Toolformer 經(jīng)過訓(xùn)練，能夠在生成文本中插入 API 調(diào)用，直接將任務(wù)外包出去。
在這其中，訓(xùn)練的過程是以自監(jiān)督的方式完成的。這意味著無需大量人類標(biāo)注好的數(shù)據(jù)，Toolformer 只需要少量演示就能學(xué)會調(diào)用 API。
具體來說，先給 Toolformer 提供少量已經(jīng)手動標(biāo)注好的例子，然后讓語言模型在實(shí)踐中生成一個(gè)更大的包含示例的數(shù)據(jù)集。
這個(gè)過程主要分成三步：
首先是取樣，通俗點(diǎn)講就是看輸入的文本提示中，哪個(gè)地方需要調(diào)用哪種工具，然后直接將“調(diào)用的 API”插入到對應(yīng)的地方；
其次是執(zhí)行，執(zhí)行上一步的“調(diào)用 API”任務(wù)，將生成的文本直接插入進(jìn)去；
最后是過濾，上一步中工具生成的文本如果對輸入文本來說用處不大的話，就可以直接 pass 掉，保留對文本有用的地方。
這樣一來，基于這些有用的數(shù)據(jù)集，Toolformer 便可以對預(yù)先訓(xùn)練好的大語言模型進(jìn)行微調(diào)。
講了這么多，Toolformer 的真實(shí)效果到底如何，有沒有一個(gè)橫向的數(shù)據(jù)對比？
論文將 Toolformer 和多個(gè)其他大語言模型，包括 GPT-J，OPT（66B）以及 GPT-3（175B）進(jìn)行了對比，比較了它們在數(shù)學(xué)、Q&A 以及機(jī)器翻譯等方面的能力。
結(jié)果顯示，在學(xué)習(xí)使用工具后，GPT-J 的零樣本學(xué)習(xí)性能的到了顯著的提高。
△Toolformer：是在 GPT- J 上微調(diào)，并加強(qiáng)了 CCNet 子集中的 API 調(diào)用/ Toolformer （disabled）：同上，但解碼期間禁用 API 調(diào)用
并且在大多數(shù)任務(wù)上性能都有明顯提高，在一些下游任務(wù)中 Toolformer 甚至已經(jīng)超過了 GPT-3。
“未來大語言模型發(fā)展的重要分支”
說到這里，不知道你怎么看這件事兒。
有不少網(wǎng)友是已經(jīng)按捺不住，想著去拔 AI 電源了。
而引發(fā)更多討論的，是這樣一種觀點(diǎn)：Toolformer 可能是未來 LLM（大語言模型）發(fā)展的一個(gè)重要分支。
大語言模型進(jìn)化出使用工具的能力，知道應(yīng)該在何時(shí)、使用何種工具來實(shí)現(xiàn)需求，也就意味著許多在今天還需要人類和 AI 協(xié)作完成的工作，未來 AI 都能自己搞定了。
比如現(xiàn)在還多少有些“人工智障”的語音助手，如果背后有 ChatGPT+Toolformer 的技術(shù)能力支撐，那么從挑選符合需求的餐廳，到直接訂座，這一系列動作都可以被絲滑地串聯(lián)起來。
又比如微軟的必應(yīng)搜索接入 ChatGPT。如果這些大語言模型能充分調(diào)用各種 API、使用 UI，那它不僅能幫人們完成搜索，還能完全改變?nèi)藗儾僮骶W(wǎng)頁的方式 —— 一切輸入都可以化簡為自然語言。
甚至，ChatGPT 這樣的模型，借助各種 API 重寫自己的代碼，也將成為可能。
事實(shí)上，讓 AI 掌握工具的使用方法這個(gè)研究方向，也并不只有 Meta 在做。
比如谷歌即將嵌入到搜索中的 Bard，背后模型 LaMDA 就內(nèi)置了一套工具箱，包括計(jì)算器、翻譯器和訪問搜索引擎獲取外部信息的接口。
還有開源項(xiàng)目 LangChain，也致力于將大語言模型與外部的計(jì)算、知識來源相結(jié)合，以開發(fā)真正可用的應(yīng)用程序。
而現(xiàn)在，Meta 又使大模型對工具的使用“熟練度”、“自主性”，更上一層樓。
不過，也有網(wǎng)友指出，Toolformer 所展現(xiàn)出的“自學(xué)”能力，還是一個(gè)初級、“狹義”的版本。
這些模型本身仍然是純粹的函數(shù)：給定相同的輸入（包括采樣時(shí)的隨機(jī)值），它將總是產(chǎn)生相同的輸出。
有點(diǎn)像是在說，一個(gè)大語言模型能學(xué)會將特定領(lǐng)域的語言作為其自然語言的一部分，以此納入來自外部工具的知識。
One More Thing
Meta 新論文炸場，還挑動了人類的“反思”神經(jīng)。
這不，新鮮梗圖已經(jīng)出爐：
人類在沉迷，而機(jī)器在學(xué)習(xí)。
論文地址：
https://arxiv.org/abs/2302.04761
參考鏈接：
[1] https://twitter.com/timo_schick/status/1624058382142345216
[2] https://twitter.com/mathemagic1an/status/1624870248221663232
[3] https://twitter.com/Tisoga/status/1624543837745192960
本文來自微信公眾號：量子位 （ID：QbitAI），作者：魚羊 Pine
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。