設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

端側(cè) AI 崛起:Mistral 發(fā)布 Ministral 3B / 8B,“全球最好的邊緣模型”

2024/10/17 13:39:27 來源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 10 月 17 日消息,Mistral 公司最新推出了 Ministral 3B 和 Ministral 8B 兩款 AI 模型,并不需要連接云服務(wù)器,重點(diǎn)提高筆記本電腦和智能手機(jī)等設(shè)備的本地化 AI 體驗(yàn),官方聲稱是“世界上最好的邊緣模型”。

Mistral 公司表示越來越多的企業(yè)希望能夠在個人設(shè)備上運(yùn)行 AI 模型,一方面確保安全的數(shù)據(jù)處理,另一方面也提高響應(yīng)速度。

上述兩個模型可在沒有互聯(lián)網(wǎng)接入的情況下,執(zhí)行翻譯服務(wù)、本地分析和機(jī)器人等多項(xiàng)服務(wù)。

這兩個 AI 模型的上下文窗口均為 128K,相當(dāng)于一次可以處理 50 頁文檔。

Ministral 8B 的價(jià)格為每百萬個 tokens 售價(jià) 0.1 美元,而 3B 版本則為 0.04 美元,適合小規(guī)模操作或初創(chuàng)開發(fā)者。Ministral 8B 采用了特殊的交錯滑動窗口注意力機(jī)制,這種設(shè)計(jì)可以在推理時(shí)更快且節(jié)省內(nèi)存。IT之家附上相關(guān)性能圖表如下:

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:Mistral,AI

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知