設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

英偉達(dá) Blackwell 在數(shù)據(jù)中心投入運(yùn)行:NVLINK 升級(jí)至 1.4 TB/s,首張 FP4 GenAI 圖像公布

2024/8/24 9:43:18 來(lái)源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 8 月 24 日消息,英偉達(dá)邀請(qǐng)部分媒體舉辦吹風(fēng)會(huì),向科技記者首次展示了 Blackwell 平臺(tái)。英偉達(dá)將出席 8 月 25-27 日舉辦的 Hot Chips 2024 活動(dòng),展示 Blackwell 平臺(tái)在數(shù)據(jù)中心投入使用的相關(guān)情況。

否認(rèn) Blackwell 推遲上市消息

英偉達(dá)在本次吹風(fēng)會(huì)上,駁斥了 Blackwell 推遲上市的消息,并分享了更多數(shù)據(jù)中心 Goliath 的相關(guān)信息。

英偉達(dá)在吹風(fēng)會(huì)上演示了 Blackwell 在其一個(gè)數(shù)據(jù)中心的運(yùn)行情況,并強(qiáng)調(diào) Blackwell 正在按計(jì)劃推進(jìn),并將于今年晚些時(shí)候向客戶發(fā)貨。

有消息稱 Blackwell 存在某種缺陷或問(wèn)題,今年無(wú)法投放市場(chǎng),這種說(shuō)法是站不住腳的。

Blackwell 簡(jiǎn)介

英偉達(dá)表示 Blackwell 不僅僅是一款芯片,它還是一個(gè)平臺(tái)。就像 Hopper 一樣,Blackwell 包含面向數(shù)據(jù)中心、云計(jì)算和人工智能客戶的大量設(shè)計(jì),每個(gè) Blackwell 產(chǎn)品都由不同的芯片組成。

IT之家附上包括的芯片如下:

  • Blackwell GPU

  • Grace CPU

  • NVLINK Switch Chip

  • Bluefield-3

  • ConnectX-7

  • ConnectX-8

  • Spectrum-4

  • Quantum-3

Blackwell 橋架

英偉達(dá)還分享了 Blackwell 系列產(chǎn)品中各種橋架的全新圖片。這些是首次分享的 Blackwell 橋架圖片,展示了設(shè)計(jì)下一代數(shù)據(jù)中心平臺(tái)所需的大量專業(yè)工程技術(shù)。

目標(biāo)萬(wàn)億參數(shù) AI 模型

Blackwell 旨在滿足現(xiàn)代人工智能的需求,并為大型語(yǔ)言模型(如 Meta 的 405B Llama-3.1)提供出色的性能。隨著 LLMs 的規(guī)模越來(lái)越大,參數(shù)也越來(lái)越多,數(shù)據(jù)中心將需要更多的計(jì)算和更低的延遲。

多 GPU 推理方法

多 GPU 推理方法是在多個(gè) GPU 上進(jìn)行計(jì)算,以獲得低延遲和高吞吐量,但采用多 GPU 路線也有其復(fù)雜性。多 GPU 環(huán)境中的每個(gè) GPU 都必須將計(jì)算結(jié)果發(fā)送給每一層的其他 GPU,這就需要高帶寬的 GPU 對(duì) GPU 通信。

多 GPU 推理方法是在多個(gè) GPU 上進(jìn)行計(jì)算,以獲得低延遲和高吞吐量,但采用多 GPU 路線也有其復(fù)雜性。多 GPU 環(huán)境中的每個(gè) GPU 都必須將計(jì)算結(jié)果發(fā)送給每一層的其他 GPU,這就需要高帶寬的 GPU 對(duì) GPU 通信。

更快的 NVLINK 交換機(jī)

通過(guò) Blackwell,NVIDIA 推出了速度更快的 NVLINK 交換機(jī),將結(jié)構(gòu)帶寬提高了一倍,達(dá)到 1.8 TB/s。NVLINK 交換機(jī)本身是基于臺(tái)積電 4NP 節(jié)點(diǎn)的 800mm2 芯片,可將 NVLINK 擴(kuò)展到 GB200 NVL72 機(jī)架中的 72 個(gè) GPU。

該芯片通過(guò) 72 個(gè)端口提供 7.2 TB/s 的全對(duì)全雙向帶寬,網(wǎng)內(nèi)計(jì)算能力為 3.6 TFLOPs。NVLINK 交換機(jī)托盤配有兩個(gè)這樣的交換機(jī),提供高達(dá) 14.4 TB/s 的總帶寬。

水冷散熱

英偉達(dá)采用水冷散熱,來(lái)提升性能和效率。GB200、Grace Blackwell GB200 和 B200 系統(tǒng)將采用這些新的液冷解決方案,可將數(shù)據(jù)中心設(shè)施的電力成本最多降低 28%。

首張使用 FP4 計(jì)算生成的人工智能圖像

英偉達(dá)?(NVIDIA?)還分享了全球首張使用  FP4 計(jì)算生成的人工智能圖像。圖中顯示,F(xiàn)P4 量化模型生成的 4 位兔子圖像與 FP16 模型非常相似,但速度更快。

該圖像由 MLPerf  在穩(wěn)定擴(kuò)散中使用 Blackwell 制作而成?,F(xiàn)在,降低精度(從 FP16 到 FP4)所面臨的挑戰(zhàn)是會(huì)損失一些精度。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:英偉達(dá)

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知