DeepSeek 系列新模型上線華為昇騰社區(qū)：一鍵獲取，開箱即用

IT之家 2 月 5 日消息，據(jù)華為官方公眾號，2 月 4 日，DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上線昇騰社區(qū)，支持一鍵獲取 DeepSeek 系列模型，支持昇騰硬件平臺上開箱即用，推理快速部署。

IT之家附模型調(diào)用方式如下：

權(quán)重轉(zhuǎn)換

• GPU：

git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference/
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

• NPU：

git clone https://modelers.cn/MindIE/deepseekv3.git
cd NPU_inference/
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

加載鏡像

在昇騰社區(qū) / 開發(fā)資源下載適配 DeepSeek-V3 的鏡像包：

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后，請使用 docker images 命令確認(rèn)查找具體鏡像名稱與標(biāo)簽。

docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下載的鏡像名稱與標(biāo)簽)

容器啟動

提供的 MindIE 鏡像預(yù)置了 DeepSeek-V3 模型推理腳本，從您信任的來源自行獲取權(quán)重后，放置在從上述下載的模型代碼的主目錄下，修改模型文件夾屬組為 1001，執(zhí)行權(quán)限為 750，啟動容器。

chown -R 1001:1001 /path-to-weights/deepseekv3
chowd -R 750 /path-to-weights/deepseekv3

服務(wù)化測試

• 配置服務(wù)化環(huán)境變量，expandable_segments-使能內(nèi)存池擴展段功能，即虛擬內(nèi)存特性。

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

• 修改服務(wù)化參數(shù)

cd /usr/local/Ascend/mindie/latest/mindie-service/
vim conf/config.json

• 拉起服務(wù)化

#設(shè)置顯存比
export NPU_MEMORY_FRACTION=0.95
#拉起服務(wù)化
cd /usr/local/Ascend/mindie/latest/mindie-service/ 
./bin/mindieservice_daemon

出現(xiàn)“Daemon start success!”，則認(rèn)為服務(wù)成功啟動。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。