全世界都在卷大模型，小扎也急了。如今，Meta 為了發(fā)展 AI，在定制芯片和超算上下了大賭注。
Meta 也有純自研芯片了！
本周四，Meta 發(fā)布第一代 AI 推理定制芯片 MTIA v1 和超算。
可以說，MTIA 對(duì) Meta 是一個(gè)巨大的福音，尤其是現(xiàn)在各家都在卷大模型，對(duì) AI 算力的需求變得越來越高。
小扎最近表示，Meta 看到了「以有用和有意義的方式向數(shù)十億人介紹人工智能代理的機(jī)會(huì)」。
顯然，隨著 Meta 加大對(duì) AI 的投入，MTIA 芯片和超算計(jì)劃將是 Meta 與其他科技巨頭競爭的關(guān)鍵工具，現(xiàn)在沒有哪家巨頭不在 AI 上投入大量資源。
可以看到，憑著定制芯片和超算，Meta 在 AI 上下了大賭注。
MTIA
在最近的一次線上活動(dòng)中，Meta 拉開了開發(fā)自己的基礎(chǔ)設(shè)施的序幕。
新芯片全名是 Meta 訓(xùn)練和推理加速器，簡稱 MTIA。
MTIA 是一種 ASIC，一種將不同電路組合在一塊板上的芯片，允許對(duì)其進(jìn)行編程，以并行執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)。
Meta 副總裁兼基礎(chǔ)設(shè)施負(fù)責(zé)人 Santosh Janardhan 在一篇博客文章中寫道，MTIA 是 Meta「針對(duì)推理工作負(fù)載的內(nèi)部定制加速器芯片系列」，它提供了比 CPU「更高的計(jì)算能力和效率」，并且「為我們的內(nèi)部工作負(fù)載定制」。
通過結(jié)合 MTIA 芯片和 GPU，Janardhan 表示，Meta 相信「我們將為每個(gè)工作負(fù)載提供更好的性能、更低的延遲和更高的效率?！?/p>
不得不說，這是 Meta 實(shí)力的投射。其實(shí)，一直以來，Meta 在應(yīng)用 AI 友好型硬件系統(tǒng)方面進(jìn)展并不迅速。這影響了 Meta 和競對(duì)（如微軟、谷歌等）保持同步發(fā)展的能力。
Meta 基礎(chǔ)設(shè)施副總裁 Alexis Bjorlin 在一次采訪中表示，構(gòu)建屬于自己的硬件，Meta 就有能力控制堆棧的每一層，包括數(shù)據(jù)中心設(shè)計(jì)到培訓(xùn)框架。
這種垂直的整合水平對(duì)于大規(guī)模推動(dòng) AI 研究邊界是必不可少的。
在過去的十年里，Meta 花費(fèi)了數(shù)十億美元聘請(qǐng)頂級(jí)數(shù)據(jù)科學(xué)家來構(gòu)建新型 AI 模型。
Meta 也一直在努力將其許多更宏偉的 AI 創(chuàng)新研究投產(chǎn)，尤其是生成式 AI。
一直到 2022 年，Meta 一直主要用的是 CPU 和專為加速 AI 算法而設(shè)計(jì)的芯片組合來維持其 AI 的運(yùn)行。
而 CPU 和芯片的組合在執(zhí)行這類任務(wù)的效率上通常會(huì)低于 GPU。
于是 Meta 取消了原本打算在 2022 年大規(guī)模推廣的定制芯片，轉(zhuǎn)而訂購了價(jià)值數(shù)十億美元的英偉達(dá) GPU。
引入這些 GPU，Meta 需要對(duì)旗下的幾個(gè)數(shù)據(jù)中心進(jìn)行顛覆性的重新設(shè)計(jì)。
而為了扭轉(zhuǎn)這一局面，Meta 計(jì)劃開發(fā)一款內(nèi)部芯片，預(yù)計(jì)于 2025 年推出。這款內(nèi)部芯片既能訓(xùn)練 AI 模型，還能運(yùn)行 AI 模型，可謂性能強(qiáng)大。
主角終于來了 —— 新芯片名叫 MITA，全稱 Meta Training and Inference Accelerator.
這款芯片可以用來加速 AI 訓(xùn)練和推理的效率。
研究團(tuán)隊(duì)表示，MTIA 是一種 ASIC，指的是一種在一塊板上組合不同電路的芯片。通過編程，該芯片能同時(shí)執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)。
要知道，科技巨頭公司的競爭說白了玩兒的就是芯片。
比方說谷歌的 TPU，用來訓(xùn)練 Palm-2 和 Imagen。亞馬遜也有自己的芯片，用于訓(xùn)練 AI 模型。
此外，有消息稱微軟也在和 AMD 開發(fā)一款叫 Athena 的芯片。
這不，MITA 的到來也是 Meta 不甘示弱的表現(xiàn)。
Meta 表示，2020 年他們創(chuàng)建了第一代的 MITA——MITA v1，采用的是 7nm 工藝。
該芯片內(nèi)部內(nèi)存可以從 128MB 擴(kuò)展到 128GB，同時(shí)，在 Meta 設(shè)計(jì)的基準(zhǔn)測試中，MITA 在處理中低復(fù)雜度的 AI 模型時(shí)，效率要比 GPU 還高。
在芯片的內(nèi)存和網(wǎng)絡(luò)部分，還有不少工作要做。隨著 AI 模型的規(guī)模越來越大，MITA 也即將遇到瓶頸。Meta 需要將工作量分擔(dān)到多個(gè)芯片上。
對(duì)此，Meta 表示，會(huì)繼續(xù)完善 MITA 在運(yùn)行推薦的工作量時(shí)每瓦的性能。
早在 2020 年，Meta 就已經(jīng)為內(nèi)部工作負(fù)載設(shè)計(jì)了第一代 MTIA ASIC。
此推理加速器是共同設(shè)計(jì)的全棧解決方案的一部分，包括芯片、PyTorch 和推薦模型。
該加速器采用臺(tái)積電 7nm 工藝制造，運(yùn)行頻率為 800 MHz，在 INT8 精度下提供 102.4 TOPS，在 FP16 精度下提供 51.2TFLOPS。它的熱設(shè)計(jì)功率（TDP）為 25W。
加速器配備了運(yùn)行系統(tǒng)固件的專用控制子系統(tǒng)，固件管理可用的計(jì)算和內(nèi)存資源，通過專用主機(jī)接口與主機(jī)通信，并在加速器上協(xié)調(diào)作業(yè)執(zhí)行。
MTIA 加速器安裝在小型雙 M.2 板上，可以更輕松地聚合到服務(wù)器中。這些主板使用 PCIe Gen4 x8 鏈路連接到服務(wù)器上的主機(jī) CPU，功耗低至 35W。
MTIA 軟件（SW）堆棧旨在為開發(fā)人員提供效率和高性能。它與 PyTorch 完全集成，將 PyTorch 與 MTIA 結(jié)合使用，就像將 PyTorch 用于 CPU 或 GPU 一樣簡單。
適用于 MTIA 的 PyTorch 運(yùn)行時(shí)管理設(shè)備上的執(zhí)行和功能，例如 MTIA 張量、內(nèi)存管理和用于在加速器上調(diào)度運(yùn)算符的 API。
有多種方法可以創(chuàng)作可在加速器上運(yùn)行的計(jì)算內(nèi)核，包括使用 PyTorch、C / C++（用于手動(dòng)調(diào)優(yōu)、非常優(yōu)化的內(nèi)核）和一種稱為 KNYFE 的新領(lǐng)域特定語言。
不過，MTIA 芯片似乎還有很長的路要走 —— 據(jù)媒體報(bào)道，它要到 2025 年才能問世。
RSC
也許未來的某一天，Meta 能把大部分訓(xùn)練 AI、運(yùn)行 AI 的工作交給 MITA 來完成。
但就目前而言，還是得更多依賴自己的超算：Research SuperCluster，簡稱 RSC。
RSC 于 2022 年 1 月首次亮相，與 Penguin Computing、英偉達(dá)和 Pure Storage 合作組裝，已完成第二階段的建設(shè)。
現(xiàn)在，RSC 包含 2000 個(gè)英偉達(dá) DGX A100 系統(tǒng)，16000 個(gè)英偉達(dá) A100 GPU。
在全力以赴的情況下，Meta 實(shí)現(xiàn)了近 5 exaflops 的算力（一個(gè) exaflop 是每秒 quintillion，即十億億次）。
此前，Meta 一直在致力于建設(shè)「下一代數(shù)據(jù)中心設(shè)計(jì)」，爭取「優(yōu)化 AI」，「構(gòu)建更快、更具成本的效益」。
Janardhan 說，Meta 對(duì)超級(jí)集群（RSC）人工智能超級(jí)計(jì)算機(jī)的強(qiáng)大功能非常有信心，「我們相信它是世界上最快的人工智能超級(jí)計(jì)算機(jī)之一。
那么問題來了，Meta 為什么要建造這么一臺(tái)內(nèi)部使用的超級(jí)計(jì)算機(jī)呢？
首先，別的科技巨頭公司給的壓力太大了。幾年前，微軟與 OpenAI 合作，搞了個(gè) AI 超級(jí)計(jì)算機(jī)。最近又表示要和 AMD 合作，在 Azure 云中構(gòu)建一臺(tái)新的 AI 超級(jí)計(jì)算機(jī)。
除此以外，谷歌一直在吹捧自己的以 AI 為重點(diǎn)的超級(jí)計(jì)算機(jī)，有 26000 個(gè) Nvidia H100 GPU，完全碾壓 Meta。
當(dāng)然除了這個(gè)原因，Meta 還表示，RSC 還允許 Meta 的研究人員使用自己公司生產(chǎn)系統(tǒng)中的真實(shí)案例來訓(xùn)練模型。
這與該公司以前的人工智能基礎(chǔ)設(shè)施不同，后者僅利用開源和公開可用的數(shù)據(jù)集。
RSC AI 超級(jí)計(jì)算機(jī)用于推動(dòng)多個(gè)領(lǐng)域的 AI 研究邊界，包括生成式 AI，Meta 希望為 AI 研究人員提供最先進(jìn)的基礎(chǔ)設(shè)施，使他們能夠開發(fā)模型，并為他們提供一個(gè)培訓(xùn)平臺(tái)來推進(jìn) AI 的發(fā)展。
在巔峰時(shí)期，RSC 可以達(dá)到近 5 exaflops 的計(jì)算能力，該公司聲稱這使其成為世界上最快的計(jì)算能力之一，遠(yuǎn)遠(yuǎn)超過世界上許多最快的超級(jí)計(jì)算機(jī)。
Meta 表示，它將使用 RSC 來訓(xùn)練 LLaMA。
Meta 表示，最大的 LLaMA 模型是在 2048 個(gè) A100 GPU 上訓(xùn)練的，這花了 21 天。
隨著 Meta 試圖在其他科技巨頭越來越猛的人工智能計(jì)劃中脫穎而出，Meta 顯然對(duì) AI 硬件也要有一番布局。
除了 MTIA 之外，Meta 還在開發(fā)另一種芯片來處理特定類型的計(jì)算工作負(fù)載。
這種芯片被稱為 Meta 可擴(kuò)展視頻處理器 （MSVP），是 Meta 內(nèi)部開發(fā)的首個(gè) ASIC 解決方案，專為滿足視頻點(diǎn)播和實(shí)時(shí)流媒體的處理需求而設(shè)計(jì)。
早在幾年前，Meta 就開始構(gòu)思定制的服務(wù)器端視頻芯片，并在 2019 年宣布推出用于視頻轉(zhuǎn)碼和推理工作的 ASIC。
而 Meta 的定制芯片，目的就是在加快視頻工作的處理速度，如流媒體和轉(zhuǎn)碼等等。
Meta 的研究人員表示，「未來，MSVP 將使我們能夠支持更多 Meta 最重要的用例和需求，包括短視頻 —— 能夠高效交付生成 AI、AR / VR 和其他元宇宙相關(guān)的內(nèi)容。」
緊追猛趕的 Meta
如果今天這些產(chǎn)品要找一個(gè)共同點(diǎn)的話，那就是 Meta 正在拼命地試圖加快它涉及人工智能的步伐，特別是生成式 AI。
今年 2 月份，小扎就曾表示要成立一個(gè)新的頂級(jí)生成式 AI 團(tuán)隊(duì)。
用他的話說，就是要給公司的研發(fā)來一波氮?dú)饧铀佟?/p>
首席科學(xué)家 Yann LeCun 表示，Meta 計(jì)劃部署生成 AI 工具來在虛擬現(xiàn)實(shí)中繼續(xù)大展宏圖。
目前，Meta 正在探索 WhatsApp 和 Messenger 中的聊天體驗(yàn)，F(xiàn)acebook 和 Instagram 和廣告中的視覺創(chuàng)建工具，以及視頻和多模式體驗(yàn)。
不過，在某種程度上，Meta 也感受到了來自投資者的壓力正變得越來越大，投資者擔(dān)心 Meta 的發(fā)展速度不夠快，無法占領(lǐng)生成式 AI 的市場。
對(duì)于像 Bard，Bing Chat 或 ChatGPT 這樣的聊天機(jī)器人，Meta 疲于應(yīng)對(duì)。在圖像生成方面也沒有取得什么進(jìn)展。
而后者正是另一個(gè)爆炸性增長的關(guān)鍵領(lǐng)域。
如果相關(guān)專家的預(yù)測正確，生成式 AI 軟件的總潛在市場可能達(dá)到 1500 億美元。
高盛（Goldman Sachs）預(yù)測，它將使 GDP 增長 7%。
就算是其中的一小部分，也可以消除 Meta 在 AR / VR 頭顯、會(huì)議軟件等元宇宙技術(shù)投資方面所損失的數(shù)十億美元。
Meta 負(fù)責(zé)增強(qiáng)現(xiàn)實(shí)技術(shù)的部門 Reality Labs 發(fā)布的報(bào)告中顯示，Meta 上季度凈虧損 40 億美元。
參考資料：
https://ai.facebook.com/blog/meta-training-inference-accelerator-AI-MTIA/
https://ai.facebook.com/blog/supercomputer-meta-research-supercluster-2023/
https://ai.facebook.com/blog/meta-ai-infrastructure-overview/
本文來自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。