設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

vivo 自研藍(lán)心大模型 7B 向全行業(yè)開源,2.6 萬億 token(附下載地址)

2023/11/9 12:15:06 來源:IT之家 作者:汪淼 責(zé)編:汪淼

IT之家 11 月 9 日消息,在近日的 2023 vivo 開發(fā)者大會上,vivo 宣布率先開源 70 億參數(shù)級的藍(lán)心大模型 7B 以及對應(yīng)的微調(diào)框架。

圖片 1

按照承諾,vivo 現(xiàn)已在 Hugging Face 上正式開源了 BlueLM-7B,IT之家小伙伴可在 vivo AI Lab 主頁下載

BlueLM-7B 開源大模型包括 7B 基礎(chǔ)模型和 7B 對話模型,同時(shí) vivo 開源了支持 32K 的長文本基礎(chǔ)模型和對話模型。

據(jù)介紹,BlueLM 采用高質(zhì)量語料庫進(jìn)行訓(xùn)練,規(guī)模達(dá)到了 2.6 萬億 的 token 數(shù),該語料庫包含中文、英文以及少量日韓數(shù)據(jù)。其中 BlueLM-7B-Chat 在 C-Eval 和 CMMLU 上均取得領(lǐng)先結(jié)果。

BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K 均支持 32K 長文本,在保持基礎(chǔ)能力相當(dāng)情況下,能夠支持更長上下文理解。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知