IT之家 9 月 21 日消息，今年 6 月，上海 AI 實(shí)驗(yàn)室發(fā)布了“書生?浦語”（InternLM）大模型，為 104B 參數(shù)，后續(xù)又推出了 7B 和 13B 規(guī)格模型。
近日，上海 AI 實(shí)驗(yàn)室、商湯科技、香港中文大學(xué)、復(fù)旦大學(xué)宣布推出書生?浦語 20B 版本，這是一款中量級大模型，號稱基于 2.3T Tokens 預(yù)訓(xùn)練語料從頭訓(xùn)練，相較于 InternLM-7B，其理解能力、推理能力、數(shù)學(xué)能力、編程能力等都有顯著提升。
據(jù)介紹，相比于此前國內(nèi)陸續(xù)開源的 7B 和 13B 規(guī)格模型，20B 量級模型具備更強(qiáng)大的綜合能力，復(fù)雜推理和反思能力尤為突出，能為實(shí)際應(yīng)用場景提供更有力的性能支持；同時，20B 量級模型可在單卡上進(jìn)行推理，經(jīng)過低比特量化后，可運(yùn)行在單塊消費(fèi)級 GPU 上，因而在實(shí)際應(yīng)用中更為便捷。
相比于此前的開源模型，InternLM-20B 擁有幾大亮點(diǎn)，IT之家匯總?cè)缦拢?/p>
以不足 1/3 的參數(shù)量，測評成績達(dá)到了 Llama2-70B 的水平。
支持?jǐn)?shù)十類插件，上萬個 API 功能，還具備代碼解釋和反思修正能力。
實(shí)現(xiàn)了對長文理解、長文生成和超長對話的有效支持，同時支持 16K 語境長度。
研究團(tuán)隊(duì)進(jìn)行了基于 SFT 和 RLHF 兩階段價值對齊，并通過專家紅隊(duì)的對抗訓(xùn)練大幅提高其安全性。
此外，書生?浦語開源工具鏈也已全新升級，形成更完善的體系，包括預(yù)訓(xùn)練框架 InternLM-Train、低成本微調(diào)框架 XTuner、部署推理框架 LMDeploy、評測框架 OpenCompass 以及面向場景應(yīng)用的智能體框架 Lagent。
書生?浦語-20B：
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b
書生?浦語-對話-20B：
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。