IT之家 1 月 12 日消息,中國(guó)電信 1 月 10 日宣布開源星辰語義大模型 TeleChat-7B 版本,并開放 1T 清洗數(shù)據(jù)集。此外,中國(guó)電信還將在 1 月 20 日開源 12B 版本模型,擁抱更多開發(fā)者共建開源大模型生態(tài)。
據(jù)介紹,星辰語義大模型是由中電信人工智能科技有限公司研發(fā)訓(xùn)練的大語言模型,采用 1.5 萬億 Tokens 中英文語料進(jìn)行訓(xùn)練。星辰語義大模型在業(yè)界首次提出緩解多輪幻覺的解決方案,通過關(guān)鍵信息注意力增強(qiáng)、知識(shí)圖譜強(qiáng)化、多輪知識(shí)強(qiáng)化、知識(shí)溯源能力四大技術(shù),將 AI 大模型的幻覺率降低了 40%,有助于大模型變得更有“人味”,理解問題語境,告別風(fēng)馬牛不相及的答案。
在中國(guó)電信內(nèi)部,星辰語義大模型用于行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營(yíng)分析等場(chǎng)景,以行文寫作為例,其平均生成字?jǐn)?shù)超過 1500 字,有效采納率達(dá)到 85.7%;在對(duì)外企事業(yè)單位客戶的業(yè)務(wù)中,星辰語義大模型用于企業(yè)經(jīng)營(yíng)分析、政務(wù)公開咨詢、民生訴求接待等場(chǎng)景,其業(yè)務(wù)覆蓋率達(dá)到 95%,多輪理解準(zhǔn)確率達(dá)到 90%。
早在 2023 年 11 月,中國(guó)電信就在 2023 數(shù)字科技生態(tài)大會(huì)上發(fā)布了千億參數(shù)“星辰語義大模型”,并公布了后續(xù)的開源開放的時(shí)間表。IT之家發(fā)現(xiàn),本次 TeleChat-7B 版本開源了對(duì)話模型 TeleChat-7B-bot,以及其 huggingface 格式的權(quán)重文件。此外,還開源了 7B 模型的 int8 和 int4 量化版本。
在模型開發(fā)上,星辰語義大模型已與華為昇騰 AI 基礎(chǔ)軟硬件完成適配:支持 Atlas 300I pro 推理卡,具備 int8 量化能力;支持 Atlas 訓(xùn)練服務(wù)器,用戶可使用昇思 MindSpore 和 PyTorch 框架進(jìn)行模型訓(xùn)練和推理。
Github 開源地址:
Gitee 地址:
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。