IT之家 7 月 5 日消息，今天的 2024 世界人工智能大會(huì)（WAIC 2024）期間，面壁智能聯(lián)合創(chuàng)始人、首席科學(xué)家劉知遠(yuǎn)宣布，開源主打高效低能耗的新一代“面壁小鋼炮”MiniCPM-S 模型，同時(shí)發(fā)布助力開發(fā)者一鍵打造大模型 SuperApp 的全棧工具集 MobileCPM。
據(jù)介紹，面壁 2024 年發(fā)布了具備 GPT-3 同等性能但參數(shù)僅為 24 億的 MiniCPM-2.4B，知識(shí)密度提高了約 86 倍。面壁方面更稱，這“并不是極限”—— 其持續(xù)優(yōu)化 Scaling Law 使模型知識(shí)密度不斷提升，可不斷訓(xùn)練出計(jì)算更加高效、表現(xiàn)更強(qiáng)（參數(shù)規(guī)模降低，數(shù)值位寬降低，結(jié)構(gòu)更加高效）的基礎(chǔ)大模型。
而此次開源的 MiniCPM-S 采用“稀疏激活”在同等參數(shù)下減少大模型的推理能耗，稀疏度越高，每個(gè)詞元（token）激活的神經(jīng)元越少，大模型的推理成本和能耗就越少。
MiniCPM-S 1.2B 采用了高度稀疏架構(gòu)，通過將激活函數(shù)替換為 ReLU 及通過帶漸進(jìn)約束的稀疏感知訓(xùn)練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。
官方還表示，和同規(guī)模的稠密模型 MiniCPM 1.2B 相比，MiniCPM-S 1.2 具備如下特征：
Sparse-高稀疏低能耗：在 FFN 層實(shí)現(xiàn)了高達(dá) 87.89% 平均稀疏度，推理算力下降 84%；
Speed-神仙推理：更少計(jì)算，迅疾響應(yīng)。純 CPU 環(huán)境下，結(jié)合 Powerinfer 推理框架，推理解碼速度提升約 2.8 倍；
Strong-無損強(qiáng)大性能：更少計(jì)算量，無損下游任務(wù)性能。
MiniCPM-S 1.2B 號稱實(shí)現(xiàn)知識(shí)密度的“空前提升”—— 達(dá)到同規(guī)模稠密模型 MiniCPM 1.2B 的 2.57 倍，Mistral-7B 的 12.1 倍。
IT之家附開源鏈接：
論文地址：https://arxiv.org/pdf/2402.13516.pdf
模型地址：https://huggingface.co/openbmb/MiniCPM-S-1B-llama-format
PowerInfer可直接運(yùn)行格式：https://huggingface.co/openbmb/MiniCPM-S-1B-sft-gguf
此外，面壁還開源了號稱業(yè)內(nèi)首個(gè)端側(cè)大模型工具集 MobileCPM，開發(fā)者可以一鍵集成大模型到 App，且實(shí)現(xiàn)“開箱即用”。其包含開源端側(cè)大模型、SDK 開發(fā)套件及翻譯、摘要等豐富的 intent，可一站式靈活定制滿足不同應(yīng)用場景需求的大模型 App。其為開發(fā)者提供了基礎(chǔ)模式、精裝模式、全包配件模式，默認(rèn)集成面壁新一代高效稀疏架構(gòu)模型 MiniCPM-S 1.2B。
MobileCPM 已經(jīng)支持 iOS 系統(tǒng)，安卓版本也即將上線。附：開源地址、TestFlight 外測地址。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。