在今日的 Hot Chips 2024 大會(huì)上，英偉達(dá)公布了下一代 GPU 架構(gòu) Blackwell 的更多細(xì)節(jié)信息，以及未來(lái)的產(chǎn)品路線圖。
會(huì)議期間，英偉達(dá)架構(gòu)總監(jiān) Ajay Tirumala 和 Raymond Wong 對(duì) Blackwell 平臺(tái)進(jìn)行了初步介紹，并解釋了這些技術(shù)如何協(xié)同工作，在提高能源效率的同時(shí)為 AI 和加速計(jì)算性能提供新的標(biāo)準(zhǔn)。
為 Blackwell 做好準(zhǔn)備
英偉達(dá) Blackwell 是通用計(jì)算全棧矩陣的終極解決方案，由多個(gè)英偉達(dá)芯片組成，包括 Blackwell GPU、Grace CPU、BlueField 數(shù)據(jù)處理單元、ConnectX 網(wǎng)絡(luò)接口卡、NVLink 交換機(jī)、Spectrum 以太網(wǎng)交換機(jī)和 Quantum InfiniBand 交換機(jī)。
它涵蓋了從 CPU 和 GPU 計(jì)算，到用于互連的不同類型的網(wǎng)絡(luò)。這是芯片到機(jī)架和互連，而不僅僅是 GPU。它是有史以來(lái)單個(gè) GPU 所擁有的最強(qiáng) AI 計(jì)算、內(nèi)存帶寬和互連帶寬。通過(guò)使用高帶寬接口（NV-HBI），可在兩個(gè) GPU 芯片之間提供 10TB/s 的帶寬。
此外，英偉達(dá)還引入了新的 FP4 和 FP6 精度。降低計(jì)算精度是提高性能的一種眾所周知的方法。通過(guò)英偉達(dá)的 Quasar 量化系統(tǒng)，可以找出哪些方面可以使用較低的精度，從而減少計(jì)算和存儲(chǔ)。英偉達(dá)表示，用于推理的 FP4 在某些情況下可以接近 BF16 性能。
NVLink 交換機(jī)芯片和 NVLink 交換機(jī)托盤（tray）旨在以更低的功耗推送大量數(shù)據(jù)。英偉達(dá)演示了 GB200 NVL72 和 NVL36。其中，NVL72 包含 36 個(gè) Grace GPU 和 72 個(gè) Blackwell GPU，專為萬(wàn)億參數(shù) AI 而設(shè)計(jì)。GB200 NVL 72 作為一個(gè)統(tǒng)一系統(tǒng)，對(duì)大語(yǔ)言模型（LLM）推理性能提升高達(dá) 30 倍，釋放了實(shí)時(shí)運(yùn)行數(shù)萬(wàn)億個(gè)參數(shù)模型的能力。
英偉達(dá)表示，隨著 AI 模型尺寸的增加，在多個(gè) GPU 上拆分工作負(fù)載勢(shì)在必行。而 Blackwell 足夠強(qiáng)大，可以在一個(gè) GPU 中處理專家模型。
最后，英偉達(dá)還展示了 2024 年至 2028 年的產(chǎn)品路線圖。2026 年的 1.6T ConnectX-9 似乎表明了英偉達(dá)對(duì) PCIe Gen7 的需求，因?yàn)?PCIe Gen6 x16 無(wú)法處理 1.6T 的網(wǎng)絡(luò)連接。
Blackwell 的技術(shù)突破
今年 3 月，英偉達(dá)在 GTC 2024 開(kāi)發(fā)者大會(huì)上發(fā)布了新的 GPU 架構(gòu) Blackwell。Blackwell 得名于美國(guó)數(shù)學(xué)家 David Blackwell，是英偉達(dá)最新一代的 AI 芯片與超級(jí)計(jì)算平臺(tái)。與 Grace 數(shù)據(jù)中心 CPU、新一代網(wǎng)絡(luò)芯片等產(chǎn)品一起，面向生成式 AI 共同組成完整解決方案。
英偉達(dá)稱，Blackwell 擁有 6 項(xiàng)革命性技術(shù)，可支持多達(dá) 10 萬(wàn)億參數(shù)的模型進(jìn)行 AI 訓(xùn)練和實(shí)時(shí)大語(yǔ)言模型（LLM）推理。
1．全球最強(qiáng)大的芯片：Blackwell 架構(gòu) GPU 擁有 2080 億個(gè)晶體管，確保了芯片具有極高的計(jì)算能力和復(fù)雜性；采用臺(tái)積電 4 納米工藝制造，提高了芯片的集成度，降低了功耗和發(fā)熱量；配備 192GB 的 HBM3E 顯存，極大提升了芯片的數(shù)據(jù)處理能力和效率。
2．第二代 Transformer 引擎：結(jié)合 Blackwell Tensor Core 技術(shù)和 TensorRT-LLM 和 NeMo Megatron 框架中的英偉達(dá)先進(jìn)動(dòng)態(tài)范圍管理算法，Blackwell 將通過(guò)新的 4 位浮點(diǎn) AI 支持雙倍的計(jì)算和模型大小推理能力。
3．第五代 NVLink：為提高數(shù)萬(wàn)億參數(shù)和混合專家 AI 模型的性能，最新一代英偉達(dá) NVLink 為每個(gè) GPU 提供了突破性的 1.8TB/s 的雙向吞吐量，確保最復(fù)雜 LLM 之間多達(dá) 576 個(gè) GPU 之間的無(wú)縫高速通信。
4.RAS 引擎：Blackwell 支持的 GPU 包含一個(gè)專用引擎，實(shí)現(xiàn)可靠性、可用性和服務(wù)性。此外，Blackwell 架構(gòu)還增加了芯片級(jí)功能，利用基于 AI 的預(yù)防性維護(hù)進(jìn)行診斷和預(yù)測(cè)可靠性問(wèn)題。這可以最大限度地延長(zhǎng)系統(tǒng)正常運(yùn)行時(shí)間，并提高大規(guī)模部署 AI 的彈性。
5．安全人工智能：先進(jìn)的機(jī)密計(jì)算功能可在不影響性能的情況下保護(hù) AI 模型和客戶數(shù)據(jù)，并支持新的本機(jī)接口加密協(xié)議，進(jìn)一步增強(qiáng)了芯片的安全性。
6．解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫(kù)查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。
英偉達(dá) CEO 黃仁勛稱，Blackwell 不只是芯片，而是一個(gè)全新的平臺(tái)。它將是英偉達(dá)歷史上、乃至整個(gè)計(jì)算機(jī)歷史上最成功的產(chǎn)品。
Blackwell 的市場(chǎng)影響
Blackwell 架構(gòu)的推出受到了全球各大云提供商、服務(wù)器制造商以及頭部 AI 企業(yè)的青睞，如亞馬遜、谷歌和微軟等。英偉達(dá)表示，Blackwell 正在被全球各大云服務(wù)提供商采用。同時(shí)，AI 公司、電信提供商和一系列其他技術(shù)企業(yè)也有著強(qiáng)勁的需求。
Blackwell 的發(fā)布預(yù)示著 AI 的又一個(gè)突破時(shí)刻的到來(lái)，一經(jīng)發(fā)布便得到了微軟 CEO 薩蒂亞?納德拉（Satya Nadella）、Alphabet CEO 桑達(dá)爾?皮查伊（Sundar Pichai）、亞馬遜 CEO 安迪?賈西（Andy Jassy）、OpenAI CEO 薩姆?阿爾特曼（Sam Altman），以及其他知名科技領(lǐng)袖和名人的支持。
至關(guān)重要的是，Blackwell 是一個(gè)更大的生態(tài)系統(tǒng)戰(zhàn)略的一部分。黃仁勛稱：“Blackwell 不僅是系統(tǒng)的核心芯片，它實(shí)際上還是一個(gè)平臺(tái)。它基本上就是一個(gè)計(jì)算機(jī)系統(tǒng)?！?/p>
Nvidia 還將使用 Blackwell 來(lái)提升其在軟件領(lǐng)域的地位和雄心。領(lǐng)先的 AI 開(kāi)發(fā)商已經(jīng)依賴 Nvidia 的 CUDA 軟件來(lái)創(chuàng)建由該公司處理器驅(qū)動(dòng)的應(yīng)用程序，而高性能 Blackwell 處理器的吸引力應(yīng)有助于確?？蛻衾^續(xù)使用其軟件。
該戰(zhàn)略甚至延伸得更遠(yuǎn)。黃仁勛在 GTC 的一次會(huì)議上稱：“你可以制造芯片讓軟件運(yùn)行得更好，但沒(méi)有軟件你就無(wú)法創(chuàng)造一個(gè)新的市場(chǎng)。我們的獨(dú)特之處在于，我相信我們是唯一一家能夠創(chuàng)造自己市場(chǎng)的芯片公司?！?/p>
隨著基于 Blackwell 架構(gòu)的 GPU GB200 的發(fā)布，英偉達(dá)似乎正在為創(chuàng)建新類別的 AI 軟件應(yīng)用程序打開(kāi)大門。反過(guò)來(lái)，此類軟件的推出、擴(kuò)展和持續(xù)發(fā)展可能會(huì)對(duì)其超高端 GPU 產(chǎn)生更大的需求。
Blackwell 出貨延遲
本月初有報(bào)道稱，英偉達(dá)的下一代 Blackwell 系列 AI 芯片因設(shè)計(jì)缺陷問(wèn)題被迫推遲發(fā)布，這一決定可能對(duì)包括 Meta、谷歌和微軟在內(nèi)的大客戶造成影響。
據(jù)悉，Blackwell 芯片的大規(guī)模生產(chǎn)原計(jì)劃于今年第三季度開(kāi)始，并于第四季度開(kāi)始交付。但道，在準(zhǔn)備大規(guī)模生產(chǎn)時(shí)，臺(tái)積電的工程師發(fā)現(xiàn)了設(shè)計(jì)問(wèn)題，導(dǎo)致生產(chǎn)受阻。
報(bào)道稱，由于臺(tái)積電封裝技術(shù) CoWoS 的復(fù)雜性，英偉達(dá)將推遲 Blackwell GPU 的出貨時(shí)間至 2025 年第一季度。
瑞銀（UBS）分析師認(rèn)為，英偉達(dá)首批 Blackwell 芯片最多延遲 4~6 周出貨，即推遲到 2025 年 1 月底。為此，許多客戶會(huì)改而采購(gòu)交貨時(shí)間短的 H200 芯片。
而摩根士丹利的分析師相對(duì)樂(lè)觀，認(rèn)為 Blackwell 芯片的生產(chǎn)僅會(huì)暫停約兩周，并可在 2024 年第四季度通過(guò)臺(tái)積電的努力趕上進(jìn)度。
整體而言，分析師認(rèn)為有關(guān) Blackwell 芯片推遲上市的擔(dān)憂可能被夸大了，預(yù)計(jì)這不會(huì)對(duì)英偉達(dá)的營(yíng)收或需求產(chǎn)生重大影響。
英偉達(dá) CEO 黃仁勛表示，Blackwell GPU 的研發(fā)預(yù)算約為 100 億美元，上市后單價(jià)會(huì)在 3~4 萬(wàn)美元。鑒于當(dāng)前訓(xùn)練和部署 AI 的強(qiáng)勁需求，該價(jià)格也并未超出市場(chǎng)預(yù)期。
“反英偉達(dá)”聯(lián)盟
包括 Alphabet、高通和英特爾在內(nèi)的公司正在聯(lián)手創(chuàng)建一個(gè)組織“UXL 基金會(huì)”，旨在阻止英偉達(dá)在 AI 領(lǐng)域建立無(wú)可爭(zhēng)議的主導(dǎo)地位。
UXL 基金會(huì)旨在創(chuàng)建一個(gè)軟件套件，幫助在更廣泛的處理器上運(yùn)行 AI 應(yīng)用程序，并減少對(duì)英偉達(dá)平臺(tái)的依賴。
據(jù)報(bào)道，UXL 基金會(huì)目前正在招募微軟、亞馬遜和其他有影響力的科技公司。因此，盡管許多科技界的知名人士對(duì) Blackwell 的能力感到興奮，但可以理解的是，人們對(duì)更廣泛的 AI 領(lǐng)域過(guò)度依賴英偉達(dá)的生態(tài)系統(tǒng)持抵制態(tài)度。
在某種程度上，UXL 基金會(huì)的成立說(shuō)明了英偉達(dá)目前的競(jìng)爭(zhēng)地位有多強(qiáng)。該公司在用于 AI 和其他加速計(jì)算應(yīng)用的 GPU 市場(chǎng)上占據(jù)了大約 90% 的份額，而 Blackwell 的推出可能有助于它繼續(xù)保持甚至擴(kuò)大其主導(dǎo)地位。
與不斷擴(kuò)大的專用軟件工具相結(jié)合，英偉達(dá)正在重塑 AI 領(lǐng)域，而其競(jìng)爭(zhēng)對(duì)手和潛在競(jìng)爭(zhēng)對(duì)手還有很多工作要做。
相關(guān)閱讀：
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。