LLaMA

Meta 今年的壓軸 AI 大模型來(lái)了。Meta 昨日（12 月 6 日）發(fā)布 Llama 3.3，共有 700 億參數(shù)，不過(guò)性能方面媲美擁有 4050 億參數(shù)的 Llama 3.1。

簡(jiǎn)介中明確：使用了蒙特卡洛樹(shù)搜索，Self-Play 強(qiáng)化學(xué)習(xí)，PPO，以及 AlphaGo Zero 的雙重策略范式（先驗(yàn)策略 + 價(jià)值評(píng)估）。

繼今年 9 月開(kāi)源 Llama 3.2 的 1B 與 3B 模型之后，Meta 于 10 月 24 日發(fā)布了這兩個(gè)模型的量化版本，量化后的模型大小平均減少了 56%，RAM 使用量平均減少了 41%，模型速度提高了 2 至 4 倍，同時(shí)降低了功耗，使這些模型能夠部署到更多移動(dòng)設(shè)備上。目前，Meta 已在一加 12、三星 S24+/S22 及蘋(píng)果 iOS 設(shè)備（未公布具體型號(hào)）等移動(dòng)平臺(tái)測(cè)試這些經(jīng)過(guò)量化后模型，測(cè)試“運(yùn)行結(jié)果良好”，研究人員未來(lái)還計(jì)劃通過(guò)神經(jīng)處理單元（NPU）提升這些量化模型的性能。

Meta 公司昨日（9 月 25 日）發(fā)布博文，正式推出了 Llama 3.2 AI 模型，其特點(diǎn)是開(kāi)放和可定制，開(kāi)發(fā)者可以根據(jù)其需求定制實(shí)現(xiàn)邊緣人工智能和視覺(jué)革命。

Meta 公司昨日發(fā)布新聞稿披露了旗下 Llama 開(kāi)源 AI 模型家族在 Hugging Face 的下載量情況，僅在上個(gè)月（8 月 1 日- 8 月 31 日），相關(guān)模型的下載次數(shù)就超過(guò)了 2000 萬(wàn)次，截至 9 月 1 日，Llama 模型家族下載量已突破 3.5 億次，

這幾天，小扎在二季度財(cái)報(bào)會(huì)上稱(chēng)，Meta 將用 Llama 3 的十倍計(jì)算量，訓(xùn)練下一代多模態(tài) Llama 4，預(yù)計(jì)在 2025 年發(fā)布。

Llama 3.1 405B 超越 GPT-4o，開(kāi)源大模型登頂了，副作用是危險(xiǎn)也更多了。不過(guò)也不全是壞事。Llama 系列前幾個(gè)版本一直因?yàn)檫^(guò)度安全防護(hù)，還一度飽受一些用戶(hù)批評(píng)。

Meta 今晚發(fā)布 Llama 3.1 開(kāi)源大語(yǔ)言模型，提供 8B、70B 及 405B 參數(shù)版本，改進(jìn)了推理能力及多語(yǔ)言支持，上下文長(zhǎng)度提升至 128K。

網(wǎng)友在 LocalLLaMA 子 Reddit 板塊中發(fā)帖，分享了 4050 億參數(shù)的 Meta Llama 3.1 信息，從該 AI 模型在幾個(gè)關(guān)鍵 AI 基準(zhǔn)測(cè)試的結(jié)果來(lái)看，其性能超越目前的領(lǐng)先者（OpenAI 的 GPT-4o）。

AI 安全公司 DeepKeep 近日發(fā)布評(píng)估報(bào)告，在 13 個(gè)風(fēng)險(xiǎn)評(píng)估類(lèi)別中，Meta 公司的 Llama 2 大語(yǔ)言模型僅通過(guò) 4 項(xiàng)測(cè)試。

針對(duì)近日零一萬(wàn)物被質(zhì)疑完全使用 LLaMA 架構(gòu)，只對(duì)兩個(gè)張量（Tensor）名稱(chēng)做修改，李開(kāi)復(fù)在朋友圈進(jìn)行了回應(yīng)。李開(kāi)復(fù)表示：“全球大模型架構(gòu)一路從 GPT2 --> Gopher --> Chinchilla --> Llama2 --> Yi，行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn)，就像做一個(gè)手機(jī) App 開(kāi)發(fā)者，不會(huì)去自創(chuàng) iOS、Android 以外的全新基礎(chǔ)架構(gòu)。01.AI 起步受益于開(kāi)源，也貢獻(xiàn)開(kāi)源，從社區(qū)中虛心學(xué)習(xí)，我們會(huì)持續(xù)進(jìn)步?！?/div>

“零一萬(wàn)物” 公司昨日正式公開(kāi)回應(yīng)了開(kāi)源 Yi 大模型“抄襲 LLaMA”事件，該公司開(kāi)源團(tuán)隊(duì)總監(jiān) Richard Lin 承認(rèn)了修改 Llama 張量名稱(chēng)的做法不妥，將會(huì)按照外界建議把“修改后的張量名稱(chēng)從 Yi 改回 LLaMA”。

創(chuàng)新工場(chǎng)董事長(zhǎng)兼 CEO 李開(kāi)復(fù)于今年創(chuàng)辦了 AI 大模型創(chuàng)業(yè)公司“零一萬(wàn)物”，該公司已推出 Yi-34B 和 Yi-6B 兩個(gè)開(kāi)源大模型，號(hào)稱(chēng)對(duì)學(xué)術(shù)研究完全開(kāi)放，同步開(kāi)放免費(fèi)商用申請(qǐng)。

據(jù)百川智能官方介紹，Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6 萬(wàn)億高質(zhì)量多語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練，兩個(gè)模型在數(shù)學(xué)、代碼、安全、邏輯推理、語(yǔ)義理解等能力有顯著提升。

從 2 月開(kāi)始開(kāi)源大模型系列 LLaMA 的發(fā)布，到 Llama 2 升級(jí)、再到編碼模型 Code Llama，Meta 可謂是賭上所有去 ALL IN AI。在開(kāi)源社區(qū)，Llama 系列模型的免費(fèi)研究和商用，直接點(diǎn)燃了平替模型裂變的火種?？墒?，Meta 在風(fēng)光的同時(shí)，AI 團(tuán)隊(duì)正面臨著離職潮。

Meta 開(kāi)源的 Code Llama 即將迎來(lái)大波二創(chuàng)，WizardCoder 以 73.2% 的勝率碾壓 GPT-4。OpenAI 員工爆出 Llama 3 能打 GPT-4，仍將開(kāi)源。

據(jù)路透社報(bào)道，阿里云近日宣布，該公司已成為首家支持 Meta 開(kāi)源 AI 模型 Llama 的中國(guó)企業(yè)，并允許其中國(guó)企業(yè)用戶(hù)開(kāi)發(fā)基于該模型的程序。

進(jìn)入 2023 年 7 月，大語(yǔ)言模型（LLM）的發(fā)展進(jìn)入了新階段，開(kāi)源成為一個(gè)火熱的主題。我們?cè)谀玫?Llama-2 的系列開(kāi)源模型后，通過(guò) OpenCompass 對(duì)它進(jìn)行了全方位的評(píng)測(cè)。

要知道，在“百模大戰(zhàn)”背景下，誰(shuí)擁有自家大模型，往往被視為核心競(jìng)爭(zhēng)力。在這個(gè)節(jié)點(diǎn)下，愿意開(kāi)源大模型的公司少之又少。但自己從頭訓(xùn)練一個(gè)大模型，對(duì)技術(shù)、資金都有很高要求。

大模型正在迅速重塑人機(jī)交互的方式。這會(huì)讓移動(dòng)應(yīng)用的使用場(chǎng)景和使用方式發(fā)生翻天覆地的變化。