詳解最強(qiáng) AI 芯片架構(gòu)：英偉達(dá) Blackwell GPU 究竟牛在哪？現(xiàn)場(chǎng)對(duì)話技術(shù)高管

作者 |  ZeR0

編輯 |  漠影

當(dāng)今全世界身價(jià)最高的兩位華人，一位賣鏟，一位賣水。

第一名是英偉達(dá)創(chuàng)始人兼 CEO 黃仁勛，靠給 AI 淘金者們賣 GPU，把英偉達(dá)推上全球市值第三的寶座；另一位是農(nóng)夫山泉?jiǎng)?chuàng)始人、董事長(zhǎng)兼總經(jīng)理鐘睒睒，憑“大自然的搬運(yùn)工”笑傲飲用水江湖。

當(dāng)前，英偉達(dá)市值已經(jīng)穩(wěn)坐 2 萬億美元大關(guān)，與蘋果的市值差距縮小到 0.3 萬億美元。

在本周英偉達(dá) GTC 大會(huì)上，黃仁勛一本正經(jīng)地說：“我們可以附帶著賣熱水。”

這可不是句玩笑話，黃仁勛是有數(shù)據(jù)依據(jù)的：英偉達(dá) DGX 新機(jī)的液冷散熱，液體入口溫度是 25℃，接近室溫；出口溫度升高到 45℃，接近按摩浴缸的水溫，流速是 2L / s。

當(dāng)然了，比起賣水，GPU 算力才是英偉達(dá)手里的印鈔機(jī)。

人稱“皮衣刀客”的黃仁勛，一貫具有極強(qiáng)的危機(jī)感和風(fēng)險(xiǎn)意識(shí)，永遠(yuǎn)在提前為未來鋪路。再加上芯片行業(yè)是一個(gè)高風(fēng)險(xiǎn)高成本低容錯(cuò)的行業(yè)，一步走錯(cuò)，可能就會(huì)跌落神壇，滿盤皆輸。所以在 AI 算力需求空前爆發(fā)、一眾強(qiáng)敵虎視眈眈的關(guān)鍵時(shí)刻，英偉達(dá)不敢在新品上有絲毫懈怠，必然會(huì)在短期內(nèi)打出最大爆發(fā)，讓對(duì)手們望塵莫及。

當(dāng)競(jìng)爭(zhēng)對(duì)手們還在以追趕英偉達(dá)旗艦 GPU 為目標(biāo)時(shí)，黃仁勛已經(jīng)站在 next Level，捕捉到數(shù)據(jù)中心客戶需求的痛點(diǎn) —— 單芯不頂事，真正頂事的是解決系統(tǒng)級(jí)性能和能效提升的挑戰(zhàn)。

拿單個(gè)旗艦 GPU 比，英偉達(dá)的芯片確實(shí)配得上“核彈”稱號(hào)，性能猛，功耗也高。但黃仁勛厲害在早就跳出芯片本身，不斷向數(shù)據(jù)中心客戶灌輸“買得越多 省得越多”的理念，簡(jiǎn)而言之買英偉達(dá)的 AI 系統(tǒng)方案比其他方案更快更省錢。

從 Blackwell 架構(gòu)設(shè)計(jì)到 AI 基礎(chǔ)設(shè)施的技術(shù)布局，都能反映黃仁勛對(duì)未來市場(chǎng)需求和行業(yè)趨勢(shì)的前瞻性判斷：

1、摩爾定律帶動(dòng)性能提升越來越捉襟見肘，單 die 面積和晶體管快到極限，后續(xù)芯片迭代必須包括高帶寬內(nèi)存、Chiplet 先進(jìn)封裝、片內(nèi)互聯(lián)等技術(shù)的創(chuàng)新組合。再加上片外互連等高性能通信的優(yōu)化，共同構(gòu)成了英偉達(dá)打造出專為萬億參數(shù)級(jí)生成式 AI 設(shè)計(jì)的系統(tǒng)的基礎(chǔ)。

2、未來，數(shù)據(jù)中心將被視為 AI 工廠，在整個(gè)生命周期里，AI 工廠的目標(biāo)是產(chǎn)生收益。不同于消費(fèi)級(jí)市場(chǎng)單賣顯卡，數(shù)據(jù)中心市場(chǎng)是個(gè)系統(tǒng)級(jí)生意，單芯片峰值性能參考價(jià)值不大，把很多 GPU 組合成一個(gè)“巨型 GPU”，使其在完成同等計(jì)算任務(wù)時(shí)耗費(fèi)更少的卡、時(shí)間和電力，對(duì)客戶才能帶來更大的吸引力。

3、AI 模型的規(guī)模和數(shù)據(jù)量將持續(xù)增長(zhǎng)：未來會(huì)用多模態(tài)數(shù)據(jù)來訓(xùn)練更大的模型；世界模型將大行其道，學(xué)習(xí)掌握現(xiàn)實(shí)世界的物理規(guī)律和常識(shí)；借助合成數(shù)據(jù)生成技術(shù)，AI 甚至能模仿人類的學(xué)習(xí)方式，聯(lián)想、思考、彼此相互訓(xùn)練。英偉達(dá)的目標(biāo)是不斷降低與計(jì)算相關(guān)的成本和能耗。

4、高性能推理或生成將至關(guān)重要。云端運(yùn)行的英偉達(dá) GPU 可能有一半時(shí)間都被用于 token 生成，運(yùn)行大量的生成式 AI 任務(wù)。這既需要提高吞吐量，以降低服務(wù)成本，又要提高交互速度以提高用戶體驗(yàn)，一個(gè) GPU 難以勝任，因此必須找到一種能在許多 GPU 上并行處理模型工作的方法。

01.最強(qiáng) AI 芯片規(guī)格詳解：最大功耗 2700W，CUDA 配置成謎

本周二，英偉達(dá)發(fā)布新一代 Blackwell GPU 架構(gòu)，不僅刻意弱化了單芯片的存在感，而且沒有明確 GPU 的代號(hào)，而是隱晦地稱作“Blackwell GPU”。這使得被公認(rèn)遙遙領(lǐng)先的 Blackwell 架構(gòu)多少籠上了一抹神秘色彩。

在 GTC 大會(huì)現(xiàn)場(chǎng)，英偉達(dá)副總裁 Ian Buck 和高級(jí)副總裁 Jonah Alben 向智東西 & 芯東西等全球媒體進(jìn)一步分享了關(guān)于 Blackwell 架構(gòu)設(shè)計(jì)的背后思考。結(jié)合 22 頁英偉達(dá) Blackwell 架構(gòu)技術(shù)簡(jiǎn)報(bào)，關(guān)于 GB200 超級(jí)芯片、HGX B200 / B100、DGX 超級(jí)計(jì)算機(jī)等的配置細(xì)節(jié)被進(jìn)一步披露。

根據(jù)現(xiàn)有信息，全新 Blackwell GPU 沒有采用最先進(jìn)的 3nm 制程工藝，而是繼續(xù)沿用 4nm 的定制增強(qiáng)版工藝臺(tái)積電 4NP，已知的芯片款式有 3 類 ——B100、B200、GB200 超級(jí)芯片。

B100 不是新發(fā)布的主角，僅在 HGX B100 板卡中被提及。B200 是重頭戲，GB200 又進(jìn)一步把 B200 和 1 顆 72 核 Grace CPU 拼在一起。

B200 有 2080 億顆晶體管，超過 H100（800 億顆晶體管）數(shù)量的兩倍。英偉達(dá)沒透露單個(gè) Blackwell GPU die 的具體大小，只說是在 reticle 大小尺寸限制內(nèi)。上一代單 die 面積為 814mm2。由于不知道具體數(shù)字，不好計(jì)算 B200 在單位面積性能上的改進(jìn)幅度。

英偉達(dá)通過 NV-HBI 高帶寬接口，以 10TB/s 雙向帶寬將兩個(gè) GPU die 互聯(lián)封裝，讓 B200 能像單芯片一樣運(yùn)行，不會(huì)因?yàn)橥ㄐ艙p耗而損失性能，沒有內(nèi)存局部性問題，也沒有緩存問題，能支持更高的 L2 緩存帶寬。但英偉達(dá)并沒有透露它具體采用了怎樣的芯片封裝策略。

前代 GH200 超級(jí)芯片是把 1 個(gè) H100 和 1 個(gè) Grace CPU 組合。而 GB200 超級(jí)芯片將 2 個(gè) Blackwell GPU 和 CPU 組合，每個(gè) GPU 的滿配 TDP 達(dá)到 1200W，使得整個(gè)超級(jí)芯片的 TDP 達(dá)到 2700W（1200W x 2+300W）。

值得關(guān)注的是，Blackwell 架構(gòu)技術(shù)簡(jiǎn)報(bào)僅披露了 Tensor 核心數(shù)據(jù)，對(duì) CUDA 核心數(shù)、Tensor 核心數(shù)、向量算力等信息只字未提。除了 FP64 是稠密，其他數(shù)據(jù)格式都顯示了稀疏算力。

相比之下，標(biāo)準(zhǔn) FP64 Tensor 核心計(jì)算性能提升幅度不大，H100 和 H200 是 67TFLOPS，GB200 超級(jí)芯片是 90TFLOPS，比上一代提高 34%。

一種可能的推測(cè)是 Blackwell 架構(gòu)的設(shè)計(jì)全面偏向 AI 計(jì)算，對(duì)高性能計(jì)算的提升不明顯。如果晶體管都用于堆 Tensor 核心，它的通用能力會(huì)變?nèi)?，更像個(gè)偏科的 AI NPU。

由于采用相同的基礎(chǔ)設(shè)施設(shè)計(jì)，從 Hopper 換用 Blackwell 主板就像推拉抽屜一樣方便。

技術(shù)簡(jiǎn)報(bào)披露了 Blackwell x86 平臺(tái) HGX B100、HGX B200 的系統(tǒng)配置。HGX B200 搭載 8 個(gè) B200，每個(gè) GPU 的 TDP 為 1000W；HGX B100 搭載 8 個(gè) B100，每個(gè) GPU 的 TDP 為 700W。

在數(shù)據(jù)中心 Blackwell GPU 發(fā)布后，業(yè)界關(guān)注焦點(diǎn)移向同樣基于 Blackwell 架構(gòu)的游戲顯卡 RTX 50 系列。目前距離 RTX 50 系列 GPU 的發(fā)布日期還很遙遠(yuǎn)，最快也得到今年年底，慢點(diǎn)可能要到明年甚至是后年。

不過現(xiàn)在已經(jīng)有很多關(guān)于配置的傳言，比如采用臺(tái)積電 3nm 和 28Gbps GDDR 7 顯存、最大總線寬度有 384bit 和 512bit 兩種說法，芯片包括從入門級(jí) GB207 到高端級(jí) GB202，會(huì)繼續(xù)優(yōu)化路徑追蹤、光線追蹤。

02.8 年 AI 訓(xùn)練算力提升 1000 倍，英偉達(dá)是怎么做到的？

從 2016 年 Pascal GPU 的 19TFLOPS，到今年 Blackwell GPU 的 20PFLOPS，黃仁勛宣布英偉達(dá)用 8 年將單卡 AI 訓(xùn)練性能提升了 1000 倍。

這個(gè)聽起來令人心潮澎湃的倍數(shù)，除了得益于制程工藝迭代、更大的 HBM 容量和帶寬、雙 die 設(shè)計(jì)外，數(shù)據(jù)精度的降低起到關(guān)鍵作用。

多數(shù)訓(xùn)練是在 FP16 精度下進(jìn)行，但實(shí)際上不需要用這么高的精度去處理所有參數(shù)。英偉達(dá)一直在探索怎么通過混合精度操作來在降低內(nèi)存占用的同時(shí)確保吞吐量不受影響。

Blackwell GPU 內(nèi)置的第二代 Transformer 引擎，利用先進(jìn)的動(dòng)態(tài)范圍管理算法和細(xì)粒度縮放技術(shù)（微型 tensor 縮放）來優(yōu)化性能和精度，并首度支持 FP4 新格式，使得 FP4 Tensor 核性能、HBM 模型規(guī)模和帶寬都實(shí)現(xiàn)翻倍。

同時(shí) TensorRT-LLM 的創(chuàng)新包括量化到 4bit 精度、具有專家并行映射的定制化內(nèi)核，能讓 MoE 模型實(shí)時(shí)推理使用耗費(fèi)硬件、能量、成本。NeMo 框架、Megatron-Core 新型專家并行技術(shù)等都也為模型訓(xùn)練性能的提升提供了支持。

降精度的難點(diǎn)是兼顧用戶對(duì)準(zhǔn)確率的需求。FP4 并不在什么時(shí)候都有效，英偉達(dá)專門強(qiáng)調(diào)的是對(duì)混合專家模型和大語言模型帶來的好處。把精度降到 FP4 可能會(huì)有困惑度增加的問題，英偉達(dá)還貼心地加了個(gè)過渡的 FP6，這個(gè)新格式雖然沒什么性能優(yōu)勢(shì)，但處理數(shù)據(jù)量比 FP8 減少 25%，能緩解內(nèi)存壓力。

03.90 天 2000 塊 GPU 訓(xùn)練 1.8 萬億參數(shù)模型，打破通信瓶頸是關(guān)鍵

和消費(fèi)級(jí)顯卡策略不同，面向數(shù)據(jù)中心，黃仁勛并不打算通過賣一顆兩顆顯卡來賺取蠅頭小利，而是走“堆料”路線來幫客戶省錢。

無論是大幅提高性能，還是節(jié)省機(jī)架空間、降低電力成本，都對(duì)在 AI 大模型競(jìng)賽中爭(zhēng)分奪秒的企業(yè)們相當(dāng)有吸引力。

黃仁勛舉的例子是訓(xùn)練 1.8 萬億參數(shù)的 GPT-MoE 混合專家模型：

用 25000 個(gè) Ampere GPU，需要 3~5 個(gè)月左右；要是用 Hopper，需要約 8000 個(gè) GPU、90 天來訓(xùn)練，耗電 15MW；而用 Blackwell，同樣花 90 天，只需 2000 個(gè) GPU，耗電僅 4MW。

省錢與省電成正比，提高能效的關(guān)鍵是減少通信損耗。據(jù) Ian Buck 和 Jonah Alben 分享，在 GPU 集群上運(yùn)行龐大的 GPT-MoE 模型，有 60% 的時(shí)間都花在通信上。

Ian Buck 解釋說，這不光是計(jì)算問題，還是 I / O 問題，混合專家模型帶來更多并行層和通信層。它將模型分解成一群擅長(zhǎng)不同任務(wù)的專家，誰擅長(zhǎng)什么，就將相應(yīng)訓(xùn)練和推理任務(wù)分配給誰。

所以實(shí)現(xiàn)更快的 NVLink Switch 互連技術(shù)非常重要。所有 GPU 必須共享計(jì)算過程中的結(jié)果，在 DGX GB200 NVL72 機(jī)架中，多節(jié)點(diǎn) All-to-All 通信、all-Reduce 的通信速度都較過去暴漲。

全新 NVLink Switch 芯片總帶寬達(dá)到 7.2TB / s，支持 GPU 縱向擴(kuò)展，能驅(qū)動(dòng) 4 個(gè) 1.8TB / s 的 NVLink 端口。而 PCIe 9.0 x16 插槽預(yù)計(jì)要到 2032 年才能提供 2TB / s 的帶寬。

從單卡來看，相比 H100，Blackwell GPU 的訓(xùn)練性能僅提高到 2.5 倍，即便按新添的 FP4 精度算，推理性能也只提高到 5 倍。

但如果從系統(tǒng)性能來看，相比上一代 Hopper 集群，Blackwell 可將 1.8 萬億參數(shù)的 GPT-MoE 推理性能提高到 30 倍。

藍(lán)色曲線代表 H200，紫紅色曲線代表 B200，從藍(lán)到紫只涉及從 Hopper 單芯設(shè)計(jì)到 Blackwell 雙芯設(shè)計(jì)的芯片升級(jí)。加上全新 FP4、Tensor 核心、Transformer 引擎、NVLink Switch 等技術(shù)，性能漲到如綠色曲線代表的 GB200 所示。

下圖中 Y 軸是每 GPU 每秒 token 數(shù)，代表數(shù)據(jù)中心吞吐量；X 軸是每用戶每秒 token 數(shù)，代表用戶的交互體驗(yàn)，越靠近右上方的數(shù)據(jù)代表兩種能力都很強(qiáng)。綠色曲線是峰值性能線。

為了找出 GPT-MoE 訓(xùn)練的正確并行配置，英偉達(dá)做了大量實(shí)驗(yàn)（得到圖中的藍(lán)點(diǎn)），以探索創(chuàng)建硬件和切割模型的正確方法，使其盡可能實(shí)現(xiàn)高效運(yùn)行。其探索包括一些軟件重分塊、優(yōu)化策略判斷，并將大模型分布在不同的 GPU 中來滿足性能需求。

左側(cè) TP2 代表 2 個(gè) GPU 的 Tensor 并行，EP8 代表跨 8 個(gè) GPU 的專家并行，DP4 代表跨 4 個(gè) GPU 的數(shù)據(jù)并行。右側(cè)有 TP4，跨 4 個(gè) GPU 的 Tensor 并行、跨 16 個(gè) GPU 的專家并行。軟件層面不同的配置和分布式策略會(huì)導(dǎo)致運(yùn)行時(shí)產(chǎn)生不同結(jié)果。

黃仁勛還從通信耗材的角度來說明 Blackwell DGX 系統(tǒng)能夠更省電省錢。

他解釋說在 DGX 背面 NVLink 主干數(shù)據(jù)以 130TB / s 雙向帶寬通過機(jī)箱背面，比互聯(lián)網(wǎng)總帶寬還高，基本上 1 秒鐘內(nèi)能將所有內(nèi)容發(fā)送給每個(gè)人，里面有 5000 根 NVLink 銅纜、總長(zhǎng)度 2 英里。

如果用光傳輸，就必須使用光模塊和 retimer，這倆器件要耗電 20kW，僅是光模塊就要耗電 2kW。只是為了驅(qū)動(dòng) NVLink 主干，英偉達(dá)通過 NVLink Switch 不耗電就能做到，還能節(jié)省 20kW 用于計(jì)算（整個(gè)機(jī)架功耗為 120kW）。

04.集結(jié)高速通信能力，在單機(jī)架上打造 E 級(jí)算力 AI 超級(jí)計(jì)算機(jī)

更快的網(wǎng)絡(luò)，帶來了更強(qiáng)大的計(jì)算效率。

DGX GB200 NVL72 采用液冷機(jī)架式設(shè)計(jì)，顧名思義，通過第五代 NVLink 以 1.8TB / s 通信速度將 72 個(gè) GPU 互連。一個(gè)機(jī)架最多有高達(dá) 130TB / s 的 GPU 帶寬、30TB 內(nèi)存，訓(xùn)練算力接近 E 級(jí)、推理算力超過 E 級(jí)。

相較相同數(shù)量 H100 GPU 的系統(tǒng)，GB200 NVL72 為 GPT-MoE-1.8T 等大語言模型提供 4 倍的訓(xùn)練性能。在 GB200 NVL72 中用 32 個(gè) Blackwell GPU 運(yùn)行 GPT-MoE-1.8T，速度是 64 個(gè) Hopper GPU 的 30 倍。

黃仁勛說，這是世界上第一臺(tái)單機(jī)架 EFLOPS 級(jí)機(jī)器，整個(gè)地球也不過兩三臺(tái) E 級(jí)機(jī)器。

對(duì)比之下，8 年前，他交給 OpenAI 的第一臺(tái) DGX-1，訓(xùn)練算力只有 0.17PFLOPS。

H100 搭配的第四代 NVLink 總帶寬是 900GB/s，第五代則翻倍提升到 1.8TB / s，是 PCle 5 帶寬的 14 倍以上。每個(gè) GPU 的 NVLink 數(shù)量沒變，都是 18 個(gè)鏈路。CPU 與 B200 間的通信速度是 300GB/s，比 PCIe 6.0 x16 插槽的 256GB/s更快。

GB200 NVL72 需要強(qiáng)大的網(wǎng)絡(luò)來實(shí)現(xiàn)最佳性能，用到了英偉達(dá) Quantum-X800 InfiniBand、Spectrum-X800 以太網(wǎng)、BlueField-3 DPU 和 Magnum IO 軟件。

兩年前，黃仁勛看到的 GPU 是 HGX，重 70 磅，有 35000 個(gè)零件；現(xiàn)在 GPU 有 60 萬個(gè)零件，重 3000 磅，“應(yīng)該沒有一頭大象沉”，“重量跟一輛碳纖維法拉利差不多”。

第五代 NVLink 把 GPU 的可擴(kuò)展數(shù)量提高到 576 個(gè)。英偉達(dá)還推出一些 AI 安全功能來確保數(shù)據(jù)中心 GPU 的最大正常運(yùn)行時(shí)間。8 個(gè) GB200 NVL72 機(jī)架可組成 1 個(gè) SuperPOD，與 800Gb / s InfiniBand 或以太網(wǎng)互連，或者可以創(chuàng)建一個(gè)將 576 個(gè) GPU 互連的大型共享內(nèi)存系統(tǒng)。

據(jù) Ian Buck 透露，目前最大配置的 576 個(gè) GPU 互連主要是用于研究，而不是生產(chǎn)。

05.結(jié)語：八年伏脈，一朝登頂

從打造垂直生態(tài)的角度來看，英偉達(dá)越來越像芯片和 AI 計(jì)算領(lǐng)域的蘋果，在研發(fā)、工程和生態(tài)方面都展現(xiàn)出強(qiáng)大而全面的統(tǒng)治力。

就像蘋果用 App Store 牢牢粘住開發(fā)者和消費(fèi)者一樣，英偉達(dá)已經(jīng)打造了完備的芯片、系統(tǒng)、網(wǎng)絡(luò)、安全以及各種開發(fā)者所需的軟件，用最好的軟硬件組合不斷降低在 GPU 上加速 AI 計(jì)算的門檻，讓自己始終處于企業(yè)及開發(fā)者的首選之列。

在數(shù)據(jù)中心，看單個(gè)芯片峰值性能沒什么意義，很多芯片連在一起實(shí)現(xiàn)的實(shí)質(zhì)性算力改進(jìn)，才有直接參考性。所以黃仁勛要賣“系統(tǒng)”，是一步跨到數(shù)據(jù)中心客戶算力需求的終點(diǎn)。

相比上一代 Hopper，Blackwell GPU 的主要優(yōu)化沒有依賴制程工藝技術(shù)的提升，而是更先進(jìn)的內(nèi)存、更快的片內(nèi)互聯(lián)速度，并通過升級(jí)片間互連、多機(jī)互連的速度以及可擴(kuò)展性、管理軟件，消除大量數(shù)據(jù)處理導(dǎo)致的通信瓶頸，從而將大量 GPU 連成一個(gè)更具成本效益的強(qiáng)大系統(tǒng)。

草蛇灰線，伏脈千里。將芯片、存儲(chǔ)、網(wǎng)絡(luò)、軟件等各環(huán)節(jié)協(xié)同的系統(tǒng)設(shè)計(jì)之路，英偉達(dá)早在 8 年前就在探索。2016 年 4 月，黃仁勛親手將第一臺(tái)內(nèi)置 8 個(gè) P100 GPU 的超級(jí)計(jì)算機(jī) DGX-1 贈(zèng)予 OpenAI 團(tuán)隊(duì)。之后隨著 GPU 和互連技術(shù)的更新?lián)Q代，DGX 也會(huì)隨之升級(jí)，系統(tǒng)性能與日俱增。

數(shù)據(jù)中心 AI 芯片是當(dāng)前硅谷最熱門的硬件產(chǎn)品。而英偉達(dá)是這個(gè)行業(yè)的規(guī)則制定者，也是離生成式 AI 客戶需求最近的企業(yè)，其對(duì)下一代芯片架構(gòu)的設(shè)計(jì)與銷售策略具有行業(yè)風(fēng)向標(biāo)的作用。通過實(shí)現(xiàn)讓數(shù)百萬個(gè) GPU 共同執(zhí)行計(jì)算任務(wù)并最大限度提高能效的基礎(chǔ)創(chuàng)新，黃仁勛反復(fù)強(qiáng)調(diào)的“買得越多 省得越多”已經(jīng)越來越具有說服力。

本文來自微信公眾號(hào)：芯東西 （ID：aichip001），作者：ZeR0

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。