Llama 3.1 剛發(fā)布不久，Llama 4 已完全投入訓練中。
這幾天，小扎在二季度財報會上稱，Meta 將用 Llama 3 的十倍計算量，訓練下一代多模態(tài) Llama 4，預計在 2025 年發(fā)布。
十倍計算量，是什么概念？
要知道，Llama 3 是在兩個擁有 24,000 塊 GPU 集群完成訓練。也就是說，Llama 4 訓練要用 24 萬塊 GPU。
那么，Meta 存貨還夠不夠？
還記得小扎曾在年初宣布，計劃到年底要部署 35 萬塊英偉達 H100。
他還透露了更多的細節(jié)，Meta 內(nèi)部將為訓練 LLM 打造兩個單集群，一個配備 22,000 塊 H100，另一個集群配備 24,000 塊。
有網(wǎng)友曾回顧了 Llama 模型迭代過程中，GPU 的用量如何增長的：
Llama 1：2048 塊 GPU
Llama 2：4096 塊 GPU
Llama 3.1：16384 塊 GPU
或斥資 400 億美金，小扎不愿為時已晚
可見，訓練大模型是一項代價高昂的業(yè)務。
財報顯示，Meta 第二季度在服務器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施上，資本支出增長了近 33%。從去年同期 64 億美元，增至 85 億美元。
現(xiàn)在，預計年度支出將達到 370 億-400 億美元，高于之前預估的 350 億-400 億美元。
Information 一份報告稱，OpenAI 在訓練模型上花費了 30 億美元，另外還花費了 40 億美元以折扣價從微軟那里租用服務器。
可見，訓練大模型算力花費，是多么地諷刺。
不過意義在于，Llama 3.1 的開源將成為 AI 行業(yè)的一個重要轉(zhuǎn)折點，開源人工智能開始像 Linux 一樣成為行業(yè)標準。
Meta 正在規(guī)劃未來幾年的計算集群和數(shù)據(jù)中心，以支持未來幾代 AI 模型。
小扎承認，很難去預測未來 AI 技術(shù)的發(fā)展路徑，但基建不是速成的。盡管存在不確定性，他愿意冒險提前建立，也不愿意因準備不足而落后于競爭對手。
小扎這種先見之明，曾帶領(lǐng)公司在元宇宙浪潮中，堅挺而出。
在 2022 年公司股價遭遇重創(chuàng)之際，小扎還是鋌而走險，購買了大批 H100。
當年第三季度財報顯示，Meta 資本支出高達 320 億-330 億美元。其中一部分大多流向數(shù)據(jù)中心、服務器和網(wǎng)絡(luò)基礎(chǔ)設(shè)施構(gòu)建，以及在元宇宙上的巨額投入。
在采訪中，小扎解釋道，「當時 Meta 正大力發(fā)展短視頻工具 Reels，因此需要更多的 GPU 來訓模型」。
因為模型推理對 Meta 來說，是至關(guān)重要的一件大事，需要為 Facebook、Ins 等自家應用的用戶提供服務。
用小扎的原話來說就是：
我們所需的推理計算與訓練的比率，可能遠高于其他從事這一領(lǐng)域的公司，這是因為我們所服務的社區(qū)用戶量非常龐大。
人手一個 AI 智能體
前段時間 Meta AI 科學家 Thomas Scialom 在一次博客采訪中，同樣提到了，6 月份已經(jīng)開始訓練的 Llama 4。
他表示，新模型可能重點在智能體技術(shù)上，并且已經(jīng)在 Toolformer 等 agent 工具上進行了一些研究。
小扎相信，AI 智能體很快將成為在線企業(yè)的「標配」。
「隨著時間的推移，我認為，就像每個企業(yè)都有網(wǎng)站、社交媒體賬號和電子郵件地址一樣，未來每個企業(yè)也都會有一個 AI 智能體，讓客戶可以與之互動」。
Meta 的目標是，讓使每個小企業(yè)，最終甚至每個大企業(yè)，都能輕松地將自身的內(nèi)容和產(chǎn)品整合到 AI 智能體中。當這項技術(shù)大規(guī)模投入到現(xiàn)實應用中，這將大大加速商業(yè)信息收入。
盡管投資者對 Meta 在 AI 和元宇宙上的高額支出提出批評，但小扎仍舊堅持自己的戰(zhàn)略。
雖然在 Meta 最近幾個季度，虛擬現(xiàn)實似乎已經(jīng)退居次要地位，但扎克伯格確實提到，Quest 3 的銷量超出了公司的預期。二季度數(shù)顯示，這一領(lǐng)域的收入增長 22% 至 391 億美元，利潤增加 73% 至 135 億美元。
對于第三季度，Meta 預計收入在 385-410 億美元之間。
消息人士表示，該公司將在 9 月份的 Connect 大會上宣布推出一款更便宜的耳機。
此外，AI 助手 Meta AI 越來越受歡迎，小扎表示，它有望在年底前成為使用最廣泛的 AI 助手。
參考資料：
https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
本文來自微信公眾號：微信公眾號（ID：null），作者：新智元，原標題《小扎自曝砸重金訓 Llama 4，24 萬塊 GPU 齊發(fā)力！預計 2025 年發(fā)布》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。