設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

訓(xùn)練 GPT3-175B 模型最高快 180%,谷歌宣布云端 AI 芯片 TPU v5p

2023/12/7 12:35:13 來源:IT之家 作者:故淵 責(zé)編:故淵
感謝IT之家網(wǎng)友 肖戰(zhàn)割割、溯波 的線索投遞!

IT之家 12 月 7 日消息,谷歌在推出全新大語言模型 Gemini 1.0 之外,還宣布了增強(qiáng)版 Tensor Processing Unit(TPU)芯片,最新型號(hào)為 TPU v5p。

谷歌目前已經(jīng)在 YouTube、Gmail、Google Maps、Google Play 和 Android 等產(chǎn)品服務(wù)中使用 TPU 芯片,最新版本是谷歌迄今為止功能最強(qiáng)大、可擴(kuò)展性最強(qiáng)和最靈活的 AI 加速器芯片。

IT之家注:在性能方面,谷歌 TPU v5p 在 bfloat16 精度下,可以實(shí)現(xiàn) 459 teraFLOPS;在 Int8 精度下,可以實(shí)現(xiàn) 918 teraOPS。

谷歌 TPU v5p 配備 95GB 的 HBM3 內(nèi)存,內(nèi)存帶寬為 2.76TB / sec,每個(gè) Pod 最多有 8960 個(gè)加速核心,并自研搭載 600GB/sec 芯片互聯(lián)主控,可以更快、更準(zhǔn)確地訓(xùn)練 AI 模型。

與 TPU v4 相比,新發(fā)布的 TPU v5p 具有兩倍的 FLOPS(每秒浮點(diǎn)運(yùn)算)和三倍的高內(nèi)存帶寬提升。

谷歌表示在 BF16 精度下,訓(xùn)練 OpenAI 擁有 1750 億參數(shù)的 GPT3,比此前的 TPU v4 AI 加速器芯片快 90%;如果在 Int8 精度下可以達(dá)到 180%。

每個(gè) TPU v5p 加速器的運(yùn)行費(fèi)用為每小時(shí) 4.20 美元,這比 TPU v4(每小時(shí)運(yùn)行費(fèi)用為 3.22 美元)和 TPU v5e(每小時(shí)運(yùn)行費(fèi)用為 1.20 美元)貴一點(diǎn)。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:谷歌TPU

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知