IT之家 3 月 7 日消息，美團(tuán)搜推機(jī)器學(xué)習(xí)團(tuán)隊(duì) 3 月 4 日公布最新首發(fā)開(kāi)源成果，實(shí)現(xiàn)對(duì) DeepSeek R1 模型基本無(wú)損的 INT8 精度量化。
DeepSeek R1 原生版本的模型權(quán)重為 FP8 數(shù)據(jù)格式，對(duì) GPU 芯片類型有嚴(yán)格限制，僅能被英偉達(dá)新型 GPU 支持（如 Ada、Hopper 架構(gòu)芯片），其他型號(hào) GPU（如 A100）無(wú)法直接部署。
目前，量化代碼已經(jīng)合入到了開(kāi)源 LLM 推理框架 SGLang，量化模型已經(jīng)發(fā)布到了 Hugging Face 社區(qū)，方便用戶使用。官方測(cè)試，滿血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 實(shí)現(xiàn) 50% 吞吐提升。
IT之家附開(kāi)源地址：
https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。