LLaMA

Meta 公司首席執(zhí)行官馬克?扎克伯格在 Threads 平臺上宣布，Meta 的“開放”人工智能模型家族 Llama 的下載量已達到 10 億次，相較于 2024 年 12 月初的 6.5 億次下載量，在短短約三個月內(nèi)增長了約 53%。

Meta 今年的壓軸 AI 大模型來了。Meta 昨日（12 月 6 日）發(fā)布 Llama 3.3，共有 700 億參數(shù)，不過性能方面媲美擁有 4050 億參數(shù)的 Llama 3.1。

簡介中明確：使用了蒙特卡洛樹搜索，Self-Play 強化學(xué)習，PPO，以及 AlphaGo Zero 的雙重策略范式（先驗策略 + 價值評估）。

繼今年 9 月開源 Llama 3.2 的 1B 與 3B 模型之后，Meta 于 10 月 24 日發(fā)布了這兩個模型的量化版本，量化后的模型大小平均減少了 56%，RAM 使用量平均減少了 41%，模型速度提高了 2 至 4 倍，同時降低了功耗，使這些模型能夠部署到更多移動設(shè)備上。目前，Meta 已在一加 12、三星 S24+/S22 及蘋果 iOS 設(shè)備（未公布具體型號）等移動平臺測試這些經(jīng)過量化后模型，測試“運行結(jié)果良好”，研究人員未來還計劃通過神經(jīng)處理單元（NPU）提升這些量化模型的性能。

Meta 公司昨日（9 月 25 日）發(fā)布博文，正式推出了 Llama 3.2 AI 模型，其特點是開放和可定制，開發(fā)者可以根據(jù)其需求定制實現(xiàn)邊緣人工智能和視覺革命。

Meta 公司昨日發(fā)布新聞稿披露了旗下 Llama 開源 AI 模型家族在 Hugging Face 的下載量情況，僅在上個月（8 月 1 日- 8 月 31 日），相關(guān)模型的下載次數(shù)就超過了 2000 萬次，截至 9 月 1 日，Llama 模型家族下載量已突破 3.5 億次，

這幾天，小扎在二季度財報會上稱，Meta 將用 Llama 3 的十倍計算量，訓(xùn)練下一代多模態(tài) Llama 4，預(yù)計在 2025 年發(fā)布。

Llama 3.1 405B 超越 GPT-4o，開源大模型登頂了，副作用是危險也更多了。不過也不全是壞事。Llama 系列前幾個版本一直因為過度安全防護，還一度飽受一些用戶批評。

Meta 今晚發(fā)布 Llama 3.1 開源大語言模型，提供 8B、70B 及 405B 參數(shù)版本，改進了推理能力及多語言支持，上下文長度提升至 128K。

網(wǎng)友在 LocalLLaMA 子 Reddit 板塊中發(fā)帖，分享了 4050 億參數(shù)的 Meta Llama 3.1 信息，從該 AI 模型在幾個關(guān)鍵 AI 基準測試的結(jié)果來看，其性能超越目前的領(lǐng)先者（OpenAI 的 GPT-4o）。

AI 安全公司 DeepKeep 近日發(fā)布評估報告，在 13 個風險評估類別中，Meta 公司的 Llama 2 大語言模型僅通過 4 項測試。

針對近日零一萬物被質(zhì)疑完全使用 LLaMA 架構(gòu)，只對兩個張量（Tensor）名稱做修改，李開復(fù)在朋友圈進行了回應(yīng)。李開復(fù)表示：“全球大模型架構(gòu)一路從 GPT2 --> Gopher --> Chinchilla --> Llama2 --> Yi，行業(yè)逐漸形成大模型的通用標準，就像做一個手機 App 開發(fā)者，不會去自創(chuàng) iOS、Android 以外的全新基礎(chǔ)架構(gòu)。01.AI 起步受益于開源，也貢獻開源，從社區(qū)中虛心學(xué)習，我們會持續(xù)進步?！?/div>

“零一萬物” 公司昨日正式公開回應(yīng)了開源 Yi 大模型“抄襲 LLaMA”事件，該公司開源團隊總監(jiān) Richard Lin 承認了修改 Llama 張量名稱的做法不妥，將會按照外界建議把“修改后的張量名稱從 Yi 改回 LLaMA”。

創(chuàng)新工場董事長兼 CEO 李開復(fù)于今年創(chuàng)辦了 AI 大模型創(chuàng)業(yè)公司“零一萬物”，該公司已推出 Yi-34B 和 Yi-6B 兩個開源大模型，號稱對學(xué)術(shù)研究完全開放，同步開放免費商用申請。

據(jù)百川智能官方介紹，Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6 萬億高質(zhì)量多語言數(shù)據(jù)進行訓(xùn)練，兩個模型在數(shù)學(xué)、代碼、安全、邏輯推理、語義理解等能力有顯著提升。

從 2 月開始開源大模型系列 LLaMA 的發(fā)布，到 Llama 2 升級、再到編碼模型 Code Llama，Meta 可謂是賭上所有去 ALL IN AI。在開源社區(qū)，Llama 系列模型的免費研究和商用，直接點燃了平替模型裂變的火種?？墒?，Meta 在風光的同時，AI 團隊正面臨著離職潮。

Meta 開源的 Code Llama 即將迎來大波二創(chuàng)，WizardCoder 以 73.2% 的勝率碾壓 GPT-4。OpenAI 員工爆出 Llama 3 能打 GPT-4，仍將開源。

據(jù)路透社報道，阿里云近日宣布，該公司已成為首家支持 Meta 開源 AI 模型 Llama 的中國企業(yè)，并允許其中國企業(yè)用戶開發(fā)基于該模型的程序。

進入 2023 年 7 月，大語言模型（LLM）的發(fā)展進入了新階段，開源成為一個火熱的主題。我們在拿到 Llama-2 的系列開源模型后，通過 OpenCompass 對它進行了全方位的評測。

要知道，在“百模大戰(zhàn)”背景下，誰擁有自家大模型，往往被視為核心競爭力。在這個節(jié)點下，愿意開源大模型的公司少之又少。但自己從頭訓(xùn)練一個大模型，對技術(shù)、資金都有很高要求。