IT之家 2 月 4 日消息，DeepSeek 開源模型（如 V3、R1 系列）在多語言理解與復(fù)雜推理任務(wù)中展現(xiàn)了卓越性能。摩爾線程智能科技（北京）有限責(zé)任公司今日發(fā)文宣布，摩爾線程實(shí)現(xiàn)了對 DeepSeek 蒸餾模型推理服務(wù)部署。
IT之家從摩爾線程官方獲悉，通過 DeepSeek 提供的蒸餾模型，能夠?qū)⒋笠?guī)模模型的能力遷移至更小、更高效的版本，在國產(chǎn) GPU 上實(shí)現(xiàn)高性能推理。
開源框架適配：基于 Ollama 開源框架，摩爾線程完成 DeepSeek-R1-Distill-Qwen-7B 蒸餾模型的部署，并在多種中文任務(wù)中展現(xiàn)了優(yōu)異的性能，驗(yàn)證摩爾線程自研全功能 GPU 的通用性與 CUDA 兼容性。
自研引擎加速：通過摩爾線程自主研發(fā)的高性能推理引擎，結(jié)合軟硬件協(xié)同優(yōu)化技術(shù)，通過定制化的算子加速和內(nèi)存管理，顯著提升了模型的計(jì)算效率和資源利用率。這一引擎不僅支持 DeepSeek 蒸餾模型的高效運(yùn)行，還為未來更多大規(guī)模模型的部署提供了技術(shù)保障。
另外，用戶也可以基于 MTT S80 和 MTT S4000 進(jìn)行 DeepSeek-R1 蒸餾模型的推理部署，此前已有用戶在 MTT S80 上手動(dòng)完成實(shí)踐。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。