設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

騰訊發(fā)布星脈網絡 2.0:大模型訓練效率相比上代提升 20%

2024/7/2 8:55:02 來源:IT之家 作者:沛霖(實習) 責編:沛霖
感謝IT之家網友 HH_KK 的線索投遞!

IT之家 7 月 2 日消息,騰訊昨日發(fā)布其自研星脈網絡 2.0 版本,升級后的星脈網絡支持單集群 10 萬卡組網,網絡通信效率比上一代提升 60%,大模型訓練效率提升 20%,故障定位從天級降低至分鐘級。

IT之家獲悉,騰訊自研交換機從 25.6T 升級到 51.2T,容量提升一倍;自研硅光模塊從 200G 升級到 400G,速率提升一倍;搭載自研算力網卡;整機通信帶寬 3.2T,為業(yè)界最高。

騰訊自研全新通信協(xié)議 TiTa2.0 的部署位置從交換機轉移到了網卡上,擁塞算法也從被動擁塞算法升級為主動擁塞控制算法,將星脈網絡的通信效率提升 30%,讓大模型的訓練效率提升 10%。

騰訊全新高性能集合通信庫 TCCL2.0 采用 NVLINK+NET 異構并行通信,實現(xiàn)數(shù)據(jù)的并行傳輸。Auto-Tune Network Expert 自適應算法可以根據(jù)機型、網絡規(guī)模、模型算法等差異,自動調整數(shù)據(jù)包分割大小、匹配算法等參數(shù)。星脈網絡通信性能提升 30%,讓大模型的訓練效率再提升 10%。

▲ 數(shù)據(jù)的并行傳輸(騰訊云)

TiTa 與 TCCL 升級帶來的效果疊加,讓星脈網絡的通信效率共提升 60%,大模型訓練效率共提升 20%。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:騰訊星脈,大模型

軟媒旗下網站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知