IT之家 10 月 12 日消息，2023 年 10 月 11 日-13 日，在中國移動(dòng)全球合作伙伴大會(huì)舉辦期間，中興通訊“星云研發(fā)大模型”亮相，旨在輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測(cè)試、版本部署等。
據(jù)介紹，“星云研發(fā)大模型”支持白名單機(jī)制有效控制使用范圍，以及代碼特征值識(shí)別有效識(shí)別敏感代碼片段、敏感詞識(shí)別機(jī)制可實(shí)時(shí)監(jiān)測(cè)并攔截敏感內(nèi)容，還有后臺(tái)審計(jì)機(jī)制可完整回溯安全事件等。
中興通訊表示，2023 年 4 月，“星云研發(fā)大模型”使用啟動(dòng)，截至目前，日活人數(shù)達(dá) 1.2 萬人， 代碼采納率達(dá) 40%~45%，編碼提效 30%，整體研發(fā)提效 10%。
IT之家從官方公告獲悉，中興通訊將領(lǐng)域數(shù)據(jù)、Know-How 知識(shí)積累、數(shù)十萬篇通信領(lǐng)域技術(shù)文檔和 1000 億 token 的無線 / 核心網(wǎng) / 云代碼語料等注入大模型，進(jìn)行增量預(yù)訓(xùn)練，使用并行訓(xùn)練框架。
中興通訊號(hào)稱：“自研部署方案使用動(dòng)態(tài) batch 策略、PagedAttention 技術(shù)，結(jié)合無損模型量化，吞吐量大幅提升，單 GPU（A800）達(dá)到 1500tokens / s，僅使用 4 張 GPU 卡（A800）可滿足超千人使用需求。對(duì)比業(yè)界常規(guī)的部署方案，單 GPU 吞吐量分別提升 10 + 倍和 20 + 倍；結(jié)合 int4 量化技術(shù)，在模型精度不下降情況下，模型大小和顯存使用量均下降一半?！?/p>
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。