IT之家 9 月 28 日消息，“中國電信人工智能研究院”官方公眾號(hào)今天宣布，中國電信人工智能研究院（IT之家注：下文稱 TeleAI）成功完成國內(nèi)首個(gè)基于全國產(chǎn)化萬卡集群訓(xùn)練的萬億參數(shù)大模型，并正式對(duì)外開源首個(gè)基于全國產(chǎn)化萬卡集群和國產(chǎn)深度學(xué)習(xí)框架訓(xùn)練的千億參數(shù)大模型 —— 星辰語義大模型 TeleChat2-115B。
官方表示，這項(xiàng)科研成果標(biāo)志著國產(chǎn)大模型訓(xùn)練真正實(shí)現(xiàn)全國產(chǎn)化替代，正式進(jìn)入全國產(chǎn)自主創(chuàng)新、安全可控的新階段。
TeleChat2-115B 基于中國電信自研的天翼云“息壤一體化智算服務(wù)平臺(tái)”和人工智能公司“星海 AI 平臺(tái)”訓(xùn)練完成。據(jù)介紹，其在保證訓(xùn)練精度的前提下利用多種優(yōu)化手段提升模型訓(xùn)練效率和穩(wěn)定性，實(shí)現(xiàn)了 GPU 同等算力計(jì)算效率超 93% ，模型有效訓(xùn)練時(shí)長(zhǎng)占比超 98% 。
針對(duì)超大參數(shù)模型訓(xùn)練，TeleAI 采用了大量小模型進(jìn)行 Scaling，進(jìn)而驗(yàn)證不同模型結(jié)構(gòu)的有效性。同時(shí)，在數(shù)據(jù)配比方面，基于小模型實(shí)驗(yàn)結(jié)果反饋，采用回歸預(yù)測(cè)模型，得到較優(yōu)數(shù)據(jù)配比。
在 Post-Training（后訓(xùn)練）方面，TeleAI 首先針對(duì)數(shù)學(xué)、代碼和邏輯推理等內(nèi)容合成了大量問答數(shù)據(jù)，用于 SFT（監(jiān)督式微調(diào)）第一階段模型訓(xùn)練。
其次，其采用迭代式更新策略，使用模型對(duì)提示詞數(shù)據(jù)進(jìn)行指令復(fù)雜性提升與多樣性擴(kuò)充，通過模型合成和人工標(biāo)注提升答案質(zhì)量，并利用拒絕采樣獲取優(yōu)質(zhì) SFT 數(shù)據(jù)及 RM（獎(jiǎng)勵(lì)模型）代表性數(shù)據(jù)，用于 SFT 訓(xùn)練和 DPO（偏好對(duì)齊）訓(xùn)練，以及模型效果迭代。
IT之家附開源地址
GitHub：
https://github.com/Tele-AI/TeleChat2
Gitee：
https://gitee.com/Tele-AI/tele-chat2
ModelScope：
https://modelscope.cn/models/TeleAI/TeleChat2-115B
Modelers：
https://modelers.cn/models/TeleAI/TeleChat2-115B
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。