微軟開源 bitnet.cpp 1-bit LLM 推理框架：不靠 GPU 可本地運(yùn)行千億參數(shù) AI 模型，能耗最多降低 82.2%

IT之家 10 月 19 日消息，科技媒體 marktechpost 昨日（10 月 18 日）發(fā)布博文，報(bào)道稱微軟公司開源了 bitnet.cpp，這是一個(gè)能夠直接在 CPU 上運(yùn)行、超高效的 1-bit 大語言模型（LLM）推理框架。

用戶通過 bitnet.cpp 框架，不需要借助 GPU，也能在本地設(shè)備上運(yùn)行具有 1000 億參數(shù)的大語言模型，實(shí)現(xiàn) 6.17 倍的速度提升，且能耗可以降低 82.2%。

傳統(tǒng)大語言模型通常需要龐大的 GPU 基礎(chǔ)設(shè)施和大量電力，導(dǎo)致部署和維護(hù)成本高昂，而小型企業(yè)和個(gè)人用戶因缺乏先進(jìn)硬件而難以接觸這些技術(shù)，而 bitnet.cpp 框架通過降低硬件要求，吸引更多用戶以更低的成本使用 AI 技術(shù)。

bitnet.cpp 支持 1-bit LLMs 的高效計(jì)算，包含優(yōu)化內(nèi)核以最大化 CPU 推理性能，且當(dāng)前支持 ARM 和 x86 CPU，未來計(jì)劃擴(kuò)展至 NPU、GPU 和移動(dòng)設(shè)備。

根據(jù)初步測(cè)試結(jié)果，在 ARM CPU 上加速比為 1.37x 至 5.07x，x86 CPU 上為 2.37x 至 6.17x，能耗減少 55.4% 至 82.2%。

bitnet.cpp 的推出，可能重塑 LLMs 的計(jì)算范式，減少對(duì)硬件依賴，為本地 LLMs（LLLMs）鋪平道路。

用戶能夠在本地運(yùn)行模型，降低數(shù)據(jù)發(fā)送至外部服務(wù)器的需求，增強(qiáng)隱私保護(hù)。微軟的“1-bit AI Infra”計(jì)劃也在進(jìn)一步推動(dòng)這些模型的工業(yè)應(yīng)用，bitnet.cpp 在這一進(jìn)程中扮演著重要角色。

IT之家附上參考地址

• Microsoft Open-Sources bitnet.cpp: A Super-Efficient 1-bit LLM Inference Framework that Runs Directly on CPUs

• GitHub

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。