設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

IBM 全新光學技術可縮短 GPU 閑置時間,大幅加快 AI 模型訓練速度

2024/12/11 8:55:39 來源:IT之家 作者:遠洋 責編:遠洋
感謝IT之家網(wǎng)友 華南吳彥祖 的線索投遞!

IT之家 12 月 11 日消息,IBM 宣布開發(fā)出一種新的光學技術,能夠以光速訓練 AI 模型,同時大幅節(jié)省能源。該公司表示,通過將這項突破應用于數(shù)據(jù)中心,訓練一個 AI 模型所節(jié)省的能源相當于 5000 個美國家庭一年的能源消耗。

該公司解釋說,雖然數(shù)據(jù)中心通過光纖電纜與外部世界連接,但內(nèi)部仍然使用銅線。這些銅線連接著 GPU 加速器,而 GPU 加速器在等待來自其他設備的數(shù)據(jù)時會有大量時間處于空閑狀態(tài),同時消耗能量并推高成本。

IBM 高級副總裁兼研究總監(jiān) Dario Gil 稱:“隨著生成式 AI 對更多能源和處理能力的需求,數(shù)據(jù)中心必須進化,而共封裝光學技術(CPO)可以使這些數(shù)據(jù)中心面向未來。通過這一突破,未來的芯片將像光纖電纜進出數(shù)據(jù)中心傳輸數(shù)據(jù)一樣進行通信,從而開啟一個更快、更可持續(xù)的通信新時代,能夠處理未來的 AI 工作負載。”

IT之家注意到,IBM 在一篇技術論文中概述了其新的 CPO 原型。通過顯著增加數(shù)據(jù)中心的帶寬,可以最大限度地減少 GPU 的閑置時間,從而加速 AI 處理。IBM 稱,大型語言模型(LLM)的訓練時間可以從三個月縮短到三周。同時,更高的能源效率將降低能源消耗,并減少與訓練 LLM 相關的成本。

廣告聲明:文內(nèi)含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知