設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

端側(cè)最強(qiáng)開源 AI 模型 Llama 3.2 登場(chǎng):可在手機(jī)運(yùn)行,從 1B 純文本到 90B 多模態(tài),挑戰(zhàn) OpenAI 4o mini

2024/9/26 7:01:35 來源:IT之家 作者:故淵 責(zé)編:故淵
感謝IT之家網(wǎng)友 HH_KK 的線索投遞!

IT之家 9 月 26 日消息,Meta 公司昨日(9 月 25 日)發(fā)布博文,正式推出了 Llama 3.2 AI 模型,其特點(diǎn)是開放和可定制,開發(fā)者可以根據(jù)其需求定制實(shí)現(xiàn)邊緣人工智能和視覺革命。

Llama 3.2 提供了多模態(tài)視覺和輕量級(jí)模型,代表了 Meta 在大型語言模型(LLMs)方面的最新進(jìn)展,在各種使用案例中提供了更強(qiáng)大的功能和更廣泛的適用性。

其中包括適合邊緣和移動(dòng)設(shè)備的中小型視覺 LLMs (11B 和 90B),以及輕量級(jí)純文本模型(1B 和 3B),此外提供預(yù)訓(xùn)練和指令微調(diào)(instruction-tuned)版本。

IT之家附上 4 個(gè)版本 AI 模型簡介如下:

  • Llama 3.2 90B Vision(文本 + 圖像輸入):Meta   最先進(jìn)的模型,是企業(yè)級(jí)應(yīng)用的理想選擇。該模型擅長常識(shí)、長文本生成、多語言翻譯、編碼、數(shù)學(xué)和高級(jí)推理。它還引入了圖像推理功能,可以完成圖像理解和視覺推理任務(wù)。該模型非常適合以下用例:圖像標(biāo)題、圖像文本檢索、視覺基礎(chǔ)、視覺問題解答和視覺推理,以及文檔視覺問題解答。

  • Llama  3.2 11B  Vision(文本 + 圖像輸入):非常適合內(nèi)容創(chuàng)建、對(duì)話式人工智能、語言理解和需要視覺推理的企業(yè)應(yīng)用。該模型在文本摘要、情感分析、代碼生成和執(zhí)行指令方面表現(xiàn)出色,并增加了圖像推理能力。該模型的用例與  90B 版本類似:圖像標(biāo)題、圖像文本檢索、視覺基礎(chǔ)、視覺問題解答和視覺推理,以及文檔視覺問題解答。

  • Llama 3.2 3B(文本輸入):專為需要低延遲推理和有限計(jì)算資源的應(yīng)用而設(shè)計(jì)。它擅長文本摘要、分類和語言翻譯任務(wù)。該模型非常適合以下用例:移動(dòng)人工智能寫作助手和客戶服務(wù)應(yīng)用。

  • Llama 3.2 1B(文本輸入):Llama 3.2 模型系列中最輕量級(jí)的模型,非常適合邊緣設(shè)備和移動(dòng)應(yīng)用程序的檢索和摘要。該模型非常適合以下用例:個(gè)人信息管理和多語言知識(shí)檢索。

其中 Llama 3.2 1B 和 3B 模型支持 128K 標(biāo)記的上下文長度,在邊緣本地運(yùn)行的設(shè)備用例(如摘要、指令跟蹤和重寫任務(wù))中處于領(lǐng)先地位。這些模型在第一天就支持高通和聯(lián)發(fā)科硬件,并針對(duì) Arm 處理器進(jìn)行了優(yōu)化。

Llama 3.2 11B 和 90B 視覺模型可直接替代相應(yīng)的文本模型,同時(shí)在圖像理解任務(wù)方面優(yōu)于 Claude 3 Haiku 等閉源模型。

與其他開源多模態(tài)模型不同的是,預(yù)訓(xùn)練模型和對(duì)齊模型都可以使用 torchtune 針對(duì)自定義應(yīng)用進(jìn)行微調(diào),并使用 torchchat 進(jìn)行本地部署。開發(fā)者還可以使用智能助手 Meta AI 試用這些模型。

Meta 將分享首批 Llama Stack 官方發(fā)行版,這將大大簡化開發(fā)人員在不同環(huán)境(包括單節(jié)點(diǎn)、內(nèi)部部署、云和設(shè)備)中使用 Llama 模型的方式,實(shí)現(xiàn)檢索增強(qiáng)生成(RAG)和工具支持型應(yīng)用的交鑰匙部署,并集成安全性。

Meta 一直在與 AWS、Databricks、Dell Technologies、Fireworks、Infosys 和 Together AI 等合作伙伴密切合作,為他們的下游企業(yè)客戶構(gòu)建 Llama Stack 發(fā)行版。設(shè)備分發(fā)通過 PyTorch ExecuTorch,單節(jié)點(diǎn)分發(fā)通過 Ollama。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:AI,Meta,Llama

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知