設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

谷歌最強(qiáng) TPU Trillium 芯片商用:性能提升 4.7 倍、內(nèi)存帶寬翻番、節(jié)能 67%

2024/12/12 14:16:30 來源:IT之家 作者:故淵 責(zé)編:故淵
感謝IT之家網(wǎng)友 咩咩洋 的線索投遞!

IT之家 12 月 12 日消息,谷歌今天(12 月 12 日)發(fā)布博文,宣布正式向 Google Cloud 客戶開放第六代 TPU Trillium,希望憑借大的計(jì)算能力、高效的性能和可持續(xù)特性,更好推動(dòng) AI 模型發(fā)展。

Trillium TPU 是 Google Cloud AI 超級(jí)計(jì)算機(jī)(AI Hypercomputer)的關(guān)鍵組件,是一種突破性的超級(jí)計(jì)算機(jī)架構(gòu),采用了一個(gè)由性能優(yōu)化的硬件、開放軟件、領(lǐng)先的機(jī)器學(xué)習(xí)框架和靈活的消費(fèi)模型組成的集成系統(tǒng)。

IT之家曾于今年 5 月報(bào)道,在 I/O 開發(fā)者大會(huì)上,谷歌正式宣布 Trillium TPU。官方稱相比上一代,Trillium TPU 在訓(xùn)練性能上提升 4 倍以上,推理吞吐量提升高達(dá) 3 倍,峰值計(jì)算性能提升 4.7 倍。

在效率方面,Trillium TPU 能源效率提高 67%,每美元訓(xùn)練性能提升高達(dá) 2.5 倍,推理性能提升高達(dá) 1.4 倍。

在規(guī)模擴(kuò)展方面,單個(gè) Jupiter 網(wǎng)絡(luò)結(jié)構(gòu)可容納 10 萬個(gè) Trillium 芯片,雙倍的 HBM 容量和 ICI 帶寬,支持大規(guī)模 AI 訓(xùn)練。

官方稱 Trillium 近乎線性的擴(kuò)展能力,配合高速芯片互連和 Jupiter 數(shù)據(jù)中心網(wǎng)絡(luò),顯著加快大型模型訓(xùn)練速度,在訓(xùn)練 gpt3-175b 模型時(shí),即使跨數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)行,24 個(gè) Pod(6144 個(gè)芯片)也能達(dá)到 94% 的擴(kuò)展效率。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:谷歌AI,芯片

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知