微軟推出首款自研大模型 AI 芯片！臺(tái)積電 5nm、1050 億顆晶體管，OpenAI 率先試用

作者 |  ZeR0

編輯 |  漠影

芯東西 11 月 16 日?qǐng)?bào)道，今日凌晨，微軟在年度 IT 專業(yè)人士和開(kāi)發(fā)者大會(huì) Ignite 上推出兩款自研芯片 —— 云端 AI 芯片微軟 Azure Maia 100、服務(wù)器 CPU 微軟 Azure Cobalt 100。

Maia 100 是微軟為微軟云中大語(yǔ)言模型訓(xùn)練和推理而設(shè)計(jì)的第一款人工智能（AI）芯片，采用臺(tái)積電 5nm 工藝，擁有 1050 億顆晶體管，針對(duì) AI 和生成式 AI 進(jìn)行了優(yōu)化，支持微軟首次實(shí)現(xiàn)的低于 8 位數(shù)據(jù)類型（MX 數(shù)據(jù)類型）。微軟已經(jīng)在用搜索引擎 Bing 和 Office AI 產(chǎn)品測(cè)試該芯片。

Cobalt 100 是微軟為微軟云定制開(kāi)發(fā)的第一款 CPU，也是微軟打造的第一款完整的液冷服務(wù)器 CPU，采用 Arm Neoverse CSS 設(shè)計(jì)、128 核。

微軟還定制設(shè)計(jì)了一個(gè) AI 端到端機(jī)架，并搭配了一個(gè)“助手”液冷器，原理類似于汽車散熱器。

▲ 微軟現(xiàn)場(chǎng)展示 AI 端到端機(jī)架

兩款芯片明年年初開(kāi)始在微軟數(shù)據(jù)中心推出，最初為微軟的 Copilot 或 Azure OpenAI Service 等服務(wù)提供動(dòng)力。微軟已經(jīng)在設(shè)計(jì)第二代版本的 Azure Maia AI 芯片和 Cobalt CPU 系列。

這些芯片代表了微軟交付基礎(chǔ)設(shè)施系統(tǒng)的最后一塊拼圖 —— 從芯片、軟件和服務(wù)器到機(jī)架和冷卻系統(tǒng)的一切，微軟這些系統(tǒng)都是由上到下設(shè)計(jì)的，可以根據(jù)內(nèi)部和客戶的工作負(fù)載進(jìn)行優(yōu)化。

值得一提的是，生成式 AI 超級(jí)獨(dú)角獸 OpenAI 率先試用了 Maia 100 芯片。該芯片正在 GPT-3.5 Turbo 上進(jìn)行測(cè)試。

OpenAI 首席執(zhí)行官 Sam Altman 說(shuō)：“當(dāng)微軟第一次分享他們的 Maia 芯片設(shè)計(jì)時(shí)，我們很興奮，我們一起努力改進(jìn)并在我們的模型上測(cè)試它。Azure 的端到端 AI 架構(gòu)現(xiàn)在與 Maia 一起優(yōu)化到芯片，為訓(xùn)練更有能力的模型鋪平了道路，并使這些模型對(duì)我們的客戶來(lái)說(shuō)更便宜?！?/p>

除了發(fā)布自研芯片外，微軟宣布將擴(kuò)大與英偉達(dá)、AMD 兩家芯片巨頭在 AI 加速計(jì)算方面的合作伙伴關(guān)系，為客戶提供更多價(jià)格和性能的選擇。

微軟發(fā)布了針對(duì)英偉達(dá) H100 GPU 的全新 NC H100 v5 虛擬機(jī)系列預(yù)覽，還將在明年增加最新的英偉達(dá) H200 GPU，以支持更大的模型推理；并宣布將在 Azure 中加入 AMD MI300X 加速虛擬機(jī)，旨在加速 AI 工作負(fù)載處理，用于 AI 模型訓(xùn)練和生成式推理。

英偉達(dá)創(chuàng)始人兼 CEO 黃仁勛專程來(lái)到現(xiàn)場(chǎng)，宣布推出一項(xiàng) AI 代工服務(wù)，可以幫助部署在微軟 Azure 上的企業(yè)和初創(chuàng)公司，構(gòu)建自己的定制大語(yǔ)言模型。

當(dāng)微軟 CEO 納德拉提問(wèn)未來(lái) AI 創(chuàng)新的發(fā)展方向是什么，黃仁勛回答說(shuō)：“生成式 AI 是計(jì)算史上最重要的平臺(tái)轉(zhuǎn)型。在過(guò)去 40 年里，從來(lái)沒(méi)有發(fā)生過(guò)如此大的事情。到目前為止，它比個(gè)人電腦更大、比手機(jī)更大，而且將比互聯(lián)網(wǎng)更大?！?/p>

01.揭秘微軟造芯實(shí)驗(yàn)室：實(shí)現(xiàn)最大硬件利用率

微軟的雷德蒙德園區(qū)隱藏著一個(gè)實(shí)驗(yàn)室，這里擺滿了探索數(shù)字時(shí)代的基本組成部分 —— 硅。多年以來(lái)，微軟工程師一直通過(guò)多步驟過(guò)程，對(duì)硅進(jìn)行細(xì)致的測(cè)試，秘密改進(jìn)其方法。

微軟認(rèn)為增加自研芯片是一種確保每個(gè)元素都適合微軟云和 AI 工作負(fù)載的方式。這些芯片將安裝在定制的服務(wù)器主板上、放在定制的機(jī)架上，隨著機(jī)架被安裝到現(xiàn)有的微軟數(shù)據(jù)中心中。

AI 芯片微軟 Azure Maia 100 旨在實(shí)現(xiàn)硬件的絕對(duì)最大利用率，將為運(yùn)行在微軟 Azure 上的一些最大的內(nèi)部 AI 工作負(fù)載提供動(dòng)力。

領(lǐng)導(dǎo) Azure Maia 團(tuán)隊(duì)的微軟技術(shù)人員 Brian Harry 說(shuō)，Maia 100 專門為 Azure 硬件堆棧而設(shè)計(jì)，這種垂直整合 —— 將芯片設(shè)計(jì)與考慮到微軟工作負(fù)載而設(shè)計(jì)的更大 AI 基礎(chǔ)設(shè)施相結(jié)合 —— 可以在性能和效率方面產(chǎn)生巨大的收益。

Cobalt 100 CPU 是一款 128 核服務(wù)器處理器，采用 Arm Neoverse CSS 設(shè)計(jì)構(gòu)建。據(jù)微軟硬件產(chǎn)品開(kāi)發(fā)副總裁 Wes McCulloug 分享，這是一種經(jīng)過(guò)優(yōu)化的低功耗芯片設(shè)計(jì)，可以在云原生產(chǎn)品中提供更高的效率和性能。

選用 Arm 技術(shù)是微軟可持續(xù)發(fā)展目標(biāo)的一個(gè)關(guān)鍵因素，其目標(biāo)是優(yōu)化整個(gè)數(shù)據(jù)中心的“每瓦性能”，這本質(zhì)上意味著為每單位消耗的能量獲得更多的計(jì)算能力。

“初步測(cè)試表明，我們的性能比現(xiàn)有商用 Arm 服務(wù)器的數(shù)據(jù)中心性能提高 40%?！蔽④?Azure 硬件系統(tǒng)和基礎(chǔ)設(shè)施副總裁 Rani Borkar 說(shuō)。

“我們正在最有效地利用硅上的晶體管。將我們所有數(shù)據(jù)中心的服務(wù)器的效率提升相乘，這是一個(gè)相當(dāng)大的數(shù)字。”McCulloug 談道。

02.從 2020 年開(kāi)始為云造芯，給 AI 芯片定制機(jī)架和“散熱助手”

雖然微軟為其 Xbox 和 HoloLens 設(shè)備研發(fā)芯片已有十多年，但它為 Azure 創(chuàng)建定制芯片的努力從 2020 年才開(kāi)始。

Azure 硬件系統(tǒng)和基礎(chǔ)設(shè)施團(tuán)隊(duì)的合作伙伴項(xiàng)目經(jīng)理 Pat Stemen 稱，2016 年前，微軟云的大多數(shù)層都是現(xiàn)成的，隨后微軟開(kāi)始定制服務(wù)器和機(jī)架，降低了成本，并為客戶提供了更一致的體驗(yàn)。隨著時(shí)間的推移，硅成了主要的缺失部分。

自研定制芯片的測(cè)試過(guò)程包括確定每個(gè)芯片在不同頻率、溫度和功率條件下的峰值性能，更重要的是在微軟真實(shí)數(shù)據(jù)中心的相同條件和配置下測(cè)試每個(gè)芯片。

今天公布的芯片架構(gòu)不僅可以提高冷卻效率，還能優(yōu)化其當(dāng)前數(shù)據(jù)中心資產(chǎn)的使用，并在現(xiàn)有范圍內(nèi)最大限度地提高服務(wù)器容量。

例如，不存在機(jī)架來(lái)容納 Maia 100 服務(wù)器主板的獨(dú)特需求，所以微軟從零做出更寬的數(shù)據(jù)中心機(jī)架。這種擴(kuò)展的設(shè)計(jì)為電源和網(wǎng)絡(luò)電纜提供了充足的空間，能滿足 AI 工作負(fù)載的獨(dú)特需求。

大型 AI 任務(wù)需要大量的計(jì)算、消耗更多的電力。傳統(tǒng)空氣冷卻方法無(wú)法滿足這些需求，液冷已成為應(yīng)對(duì)這些熱挑戰(zhàn)的首選方案。但微軟目前的數(shù)據(jù)中心并不是為大型液冷機(jī)器設(shè)計(jì)的。因此它開(kāi)發(fā)了一個(gè)“助手”，放在 Maia 100 機(jī)架旁邊。

這些“助手”的工作原理有點(diǎn)像汽車的散熱器。冷液從側(cè)板流向附著在 Maia 100 芯片表面的冷板。每個(gè)板都有通道，液體通過(guò)這些通道循環(huán)以吸收和輸送熱量。這些熱量會(huì)流到副翼，副翼會(huì)從液體中去除熱量，并將其送回機(jī)架以吸收更多的熱量，以此類推。

McCullough 強(qiáng)調(diào)說(shuō)，機(jī)架和“助手”的串聯(lián)設(shè)計(jì)強(qiáng)調(diào)了基礎(chǔ)設(shè)施系統(tǒng)方法的價(jià)值。

通過(guò)控制每一個(gè)方面 —— 從 Cobalt 100 芯片的低功耗理念到數(shù)據(jù)中心冷卻的復(fù)雜性 —— 微軟可以協(xié)調(diào)每個(gè)組件之間的和諧相互作用，確保在減少環(huán)境影響方面，整體確實(shí)大于各部分的總和。

微軟已經(jīng)與行業(yè)合作伙伴分享了其定制機(jī)架的設(shè)計(jì)經(jīng)驗(yàn)，無(wú)論內(nèi)部安裝的是什么芯片，微軟都可以使用這些經(jīng)驗(yàn)。

“我們建造的所有東西，無(wú)論是基礎(chǔ)設(shè)施、軟件還是固件，我們都可以利用我們自己的芯片，或是我們行業(yè)合作伙伴的芯片?！盡cCullough 分享道，“這是客戶做出的選擇，我們正努力為他們提供最好的選擇，無(wú)論是性能、成本還是他們關(guān)心的任何其他方面。”

Stemen 說(shuō)，微軟的使命很明確：優(yōu)化其技術(shù)堆棧的每一層，從核心芯片到終端服務(wù)。

“微軟的創(chuàng)新將進(jìn)一步深入到芯片工作中，以確保我們客戶在 Azure 上的工作負(fù)載的未來(lái)，優(yōu)先考慮性能、能效和成本?！彼劦?，“我們有意選擇這項(xiàng)創(chuàng)新，以便我們的客戶能夠在今天和未來(lái)獲得 Azure 的最佳體驗(yàn)?！?/p>

大會(huì)期間，微軟還宣布了其中一個(gè)關(guān)鍵要素的全面可用性 ——Azure Boost，這是一個(gè)將存儲(chǔ)和網(wǎng)絡(luò)進(jìn)程從主機(jī)服務(wù)器轉(zhuǎn)移到專用硬件和軟件上的系統(tǒng)，有助于加快存儲(chǔ)和網(wǎng)絡(luò)的速度。

03.英偉達(dá)推出 AI 代工服務(wù)，助攻快速定制生成式 AI 模型

在微軟 Ignite 大會(huì)上，英偉達(dá)也誠(chéng)意滿滿地公布一項(xiàng)新進(jìn)展 —— 推出 AI 代工服務(wù)。

英偉達(dá)創(chuàng)始人兼 CEO 黃仁勛現(xiàn)場(chǎng)與微軟 CEO 納德拉進(jìn)行了 11 分鐘的對(duì)談，分享英偉達(dá)與微軟的全面合作。

他談道，生成式 AI 是計(jì)算史上最重要的平臺(tái)轉(zhuǎn)型，由于生成式 AI，一切都變了，過(guò)去 12 個(gè)月，微軟與英偉達(dá)兩個(gè)團(tuán)隊(duì)盡一切努力加快速度，聯(lián)手打造了世界上最快的 AI 超級(jí)計(jì)算機(jī)，這通常需要兩三年，而兩個(gè)團(tuán)隊(duì)只用 1 年就構(gòu)建了其中的兩個(gè)，一個(gè)在微軟，一個(gè)在英偉達(dá)。

“我們將為想要構(gòu)建自己專有大語(yǔ)言模型的人做臺(tái)積電為我們做的事情，我們將成為 AI 模型的代工廠?！秉S仁勛說(shuō)，企業(yè)需要定制模型來(lái)執(zhí)行根據(jù)公司專有 DNA（即數(shù)據(jù)）進(jìn)行訓(xùn)練的專業(yè)技能，該 AI 代工服務(wù)結(jié)合了英偉達(dá)的生成式 AI 模型技術(shù)、大語(yǔ)言模型訓(xùn)練專業(yè)知識(shí)和巨型 AI 工廠。

AI 代工服務(wù)能幫助企業(yè)構(gòu)建跨行業(yè)（包括企業(yè)軟件、電信和媒體）的生成式 AI 應(yīng)用定制模型。準(zhǔn)備好部署后，企業(yè)可以用檢索增強(qiáng)生成（RAG）技術(shù)將其模型與企業(yè)數(shù)據(jù)連接起來(lái)。英偉達(dá)在微軟 Azure 中構(gòu)建了此功能，以便世界各地的企業(yè)可以將其定制模型與微軟云服務(wù)連接起來(lái)。

該服務(wù)匯集了三要素：英偉達(dá) AI 基礎(chǔ)模型、英偉達(dá) NeMo 框架和工具、英偉達(dá) DGX Cloud AI 超級(jí)計(jì)算服務(wù)的集合，來(lái)提供用于創(chuàng)建自定義生成式 AI 模型的端到端解決方案。

然后，企業(yè)可使用英偉達(dá) AI Enterprise 軟件部署自定義模型，以支持生成式 AI 應(yīng)用程序，包括智能搜索、摘要、內(nèi)容生成。

使用英偉達(dá) AI 代工服務(wù)的客戶可以從多個(gè)英偉達(dá) AI Foundation 模型中進(jìn)行選擇，包括托管在 Azure AI 模型目錄中的全新英偉達(dá) Nemotron-3 8B 模型系列。Nemotron-3 8B 具有用于構(gòu)建自定義企業(yè)生成式 AI 應(yīng)用的多語(yǔ)言功能。

開(kāi)發(fā)人員還可以訪問(wèn)英偉達(dá) NGC 目錄中的 Nemotron-3 8B 模型以及社區(qū)模型，比如專為英偉達(dá)優(yōu)化以加速計(jì)算的 Meta Llama 2 模型。

SAP SE、Amdocs、Getty Images 等均已使用該服務(wù)構(gòu)建自定義模型。

SAP 計(jì)劃將該服務(wù)和優(yōu)化的 RAG 工作流程與在 Azure 上運(yùn)行的英偉達(dá) DGX Cloud 和英偉達(dá) AI Enterprise 發(fā)軟件結(jié)合使用，以幫助定制和部署其新的自然語(yǔ)言生成式 AI copilot Joule。

04.結(jié)語(yǔ)：尚未公布具體芯片參數(shù)，如何影響云服務(wù)定價(jià)有待觀察

可能是因?yàn)樘幱谠缙诓渴痣A段，微軟并沒(méi)有發(fā)布具體的芯片參數(shù)或性能基準(zhǔn)。兩款芯片新品將加入微軟云的底層硬件供應(yīng)列表中，以幫助滿足對(duì)高效、可擴(kuò)展和可持續(xù)計(jì)算能力的爆炸式需求。

微軟正在建設(shè)持 AI 創(chuàng)新的基礎(chǔ)設(shè)施，并正在重新構(gòu)想數(shù)據(jù)中心的各個(gè)方面，包括優(yōu)化 Azure 硬件系統(tǒng)的靈活性、電源、性能、可持續(xù)性、成本，優(yōu)化和整合基礎(chǔ)設(shè)施堆棧的每一層，以最大限度地提高性能，使其供應(yīng)鏈多樣化。

自研 AI 芯片能讓微軟免于過(guò)度依賴少數(shù)頭部芯片供應(yīng)商。目前尚存的疑問(wèn)是微軟將以多快速度將兩款芯片上架，以及這些芯片會(huì)如何幫助平衡對(duì)生成式 AI 體驗(yàn)爆發(fā)的需求，以及將如何影響微軟 Azure AI 云服務(wù)的定價(jià)。

本文來(lái)自微信公眾號(hào)：芯東西 （ID：aichip001），作者：ZeR0

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。