清華唐杰團(tuán)隊(duì)的新作來(lái)了：
WebGLM，一個(gè)參數(shù) 100 億的聯(lián)網(wǎng)問(wèn)答聊天機(jī)器人（論文入選 KDD2023）。
你可以問(wèn)它任何問(wèn)題，然后它將列舉出網(wǎng)上（例如維基百科、相關(guān)官網(wǎng)）相關(guān)的文章鏈接，整理出答案。
比如：
ChatGPT 的核心技術(shù)是什么？
或者:
誰(shuí)提出的 Music Transformer？它的原理是什么？
再或者：
原神 3.5 版本怎么樣？
沒(méi)有高薪工作，怎么在一線城市生活？（手動(dòng)狗頭）
……
它都能給出有理有據(jù)的回答。
據(jù)介紹，在性能對(duì)比測(cè)試中，WebGLM 的水平已經(jīng)高于 OpenAI 135 億參數(shù)的 WebGPT，在人類評(píng)估中，甚至與 1750 億參數(shù)的模型不相上下。
那么，它是如何訓(xùn)練的？
可以上網(wǎng)的清華系 WebGLM
據(jù)介紹，WebGLM 的目標(biāo)是通過(guò) Web 搜索和檢索功能，增強(qiáng)預(yù)訓(xùn)練大語(yǔ)言模型，同時(shí)可以進(jìn)行高效的實(shí)際部署。
為此，作者基于三種策略進(jìn)行開(kāi)發(fā)。
首先是大模型增強(qiáng)檢索器。
它主要是用于增強(qiáng)模型相關(guān)網(wǎng)絡(luò)內(nèi)容的檢索能力，在給定查詢的情況下查找相關(guān)引用，以便后面更好地準(zhǔn)確回答問(wèn)題。
它有兩個(gè)階段：粗粒度 web 搜索和細(xì)粒度 LLM 增強(qiáng)密集檢索。
其次是自舉生成器。
它利用 GLM（比如清華之前發(fā)布的雙語(yǔ)開(kāi)源預(yù)訓(xùn)練模型 GLM-130B）的能力為問(wèn)題生成回復(fù)，提供詳細(xì)的答案。
利用該生成器，作者得到 WebGLM-QA—— 一個(gè) LLM 自舉引用和長(zhǎng)程的 QA 數(shù)據(jù)集。
它通過(guò)上下文學(xué)習(xí)等策略進(jìn)行清洗和過(guò)濾，最終包括 45k 的高質(zhì)量過(guò)濾樣本和 83k 的噪聲樣本。
WebGLM 的 backbone 就是一個(gè)在該數(shù)據(jù)集上訓(xùn)練的 GLM 模型。
最后是基于人類偏好的打分器。
它通過(guò)優(yōu)先考慮人類偏好而非昂貴的專家反饋來(lái)評(píng)估生成回復(fù)的質(zhì)量，確保系統(tǒng)能夠產(chǎn)生有用和吸引人的內(nèi)容。
以上三大組件最終按順序形成 WebGLM 的 pipeline：
可以看到，正好三個(gè)模塊，對(duì)應(yīng)前面介紹的三部分，其中：
LLM 增強(qiáng)檢索器會(huì)將前五個(gè)最相關(guān)的頁(yè)面作為參考源，讓自舉生成器生成多個(gè)答案，最終打分器選出最可能符合人類偏好的那一個(gè)作為最終輸出。
性能超 OpenAI WebGPT
除了 WebGLM 本身，唐杰團(tuán)隊(duì)此次還提出了一個(gè)網(wǎng)絡(luò)增強(qiáng)問(wèn)答系統(tǒng)的評(píng)估標(biāo)準(zhǔn)，評(píng)估對(duì)象既包括參考文獻(xiàn)，也包括最終回答。
其中前者衡量相關(guān)性、信息密度、真實(shí)性（無(wú)事實(shí)錯(cuò)誤）、毒性（不含暴力色情等信息）和社會(huì)偏見(jiàn)程度這 5 個(gè)維度；后者則衡量流暢度、正確性、引用準(zhǔn)確性、客觀性和冗余程度。
他們用 WebGPT（來(lái)自 OpenAI，基于 GPT-3 進(jìn)行微調(diào)）演示網(wǎng)站提供的 272 個(gè)問(wèn)題進(jìn)行對(duì)比評(píng)估，并招募了 15 個(gè)學(xué)歷為碩士的志愿者打分。
最終結(jié)果如下：
（“Rel.”、“ Den.”…… 分別對(duì)應(yīng)上面說(shuō)的 10 個(gè)指標(biāo)。）
可以看到，盡管 WebGLM 的搜索結(jié)果略遜于 WebGPT-175B，但遠(yuǎn)好于 Perplexity.ai 和 WebGPT-13B（左邊的參考文獻(xiàn)評(píng)估）。
值得一提的是，WebGLM 檢索過(guò)程只使用了一些傳統(tǒng)的基于單詞的算法和兩個(gè)累計(jì)參數(shù)量不超過(guò) 300M 的 Contriever。
此外，WebGLM 在計(jì)算性能和時(shí)間消耗方面也明顯優(yōu)于 WebGPT-13B、并與 175B 不相上下。
而在最終結(jié)果方面，WebGLM 在流暢度、真實(shí)性和冗余度方面均獲得最高得分，正確性指標(biāo)上則接近 WebGPT-175B，遠(yuǎn)高于 Perplexity.ai 和 WebGPT-13B。
作者表示，這表明 WebGLM 可以以更低的成本獲得更高的性能。
部署與訓(xùn)練
WebGLM 發(fā)布即開(kāi)源。
要想部署它，需要從 SerpAPI 官網(wǎng)獲得一個(gè)密鑰，用于在搜索過(guò)程中獲取搜索結(jié)果。
檢索器的權(quán)重可從清華云上下載。
運(yùn)行該模型的方式有兩種：一是命令行界面，二是 Web 服務(wù)形式，并且包含 WebGLM-2B 和 WebGLM-10B 兩種可選模型。
你也可以自己訓(xùn)練 WebGLM，官方已提供好了生成器和檢索器的訓(xùn)練數(shù)據(jù)供下載～
論文地址：
https://arxiv.org/abs//2306.07906
GitHub 主頁(yè)：
https://github.com/THUDM/WebGLM
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：豐色
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。