設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

推理效率與國(guó)外同類產(chǎn)品架構(gòu)解決方案相當(dāng),國(guó)產(chǎn)飛騰 CPU 實(shí)現(xiàn)對(duì) DeepSeek 全系列大模型端到端支持

2025/2/9 23:18:05 來(lái)源:IT之家 作者:歸瀧 責(zé)編:歸瀧

IT之家 2 月 9 日消息,飛騰信息技術(shù)有限公司昨日晚發(fā)文宣布,旗下騰云 S5000C 和騰銳 D3000 成功實(shí)現(xiàn)對(duì) DeepSeek 全系列大模型的端到端支持,覆蓋數(shù)據(jù)中心和終端場(chǎng)景,本地部署的推理效率與國(guó)外同類產(chǎn)品架構(gòu)解決方案相當(dāng)

據(jù)介紹,DeepSeek-V2.5 236B 大模型于 2024 年在飛騰騰云 S5000C 平臺(tái)實(shí)現(xiàn)穩(wěn)定運(yùn)行?;陲w騰騰云 S5000C 設(shè)備搭配 8 塊國(guó)產(chǎn) AI 卡,整體性能可達(dá)國(guó)外平臺(tái)性能 80% 左右。DeepSeek-V3 和 R1 版本發(fā)布后,飛騰技術(shù)團(tuán)隊(duì)在騰云 S5000C 平臺(tái)和騰銳 D3000 上對(duì)其進(jìn)行本地部署驗(yàn)證,形成整體解決方案。

數(shù)據(jù)中心側(cè),飛騰騰云 S5000C 服務(wù)器可與多款 AI 加速卡配合實(shí)現(xiàn) DeepSeek 蒸餾版和全量版部署。飛騰 AI 實(shí)驗(yàn)室在單機(jī) 8 卡服務(wù)器平臺(tái)已進(jìn)行蒸餾版 DeepSeek-R1-Distill-Llama-70B 版本測(cè)試,推理速度可達(dá) 22tokens / s。完整版 DeepSeek R1 671B 模型采用分布式推理框架,基于四機(jī) 32 卡 AI 服務(wù)器集群運(yùn)行可部署成功。

用戶終端側(cè),基于飛騰騰銳 D3000 的臺(tái)式機(jī)可以本地部署 DeepSeek-R1 7B 蒸餾版模型,搭配 1 張國(guó)產(chǎn)推理卡,實(shí)現(xiàn) AI PC 能力。

IT之家附飛騰騰云 S5000C 和飛騰騰銳 D3000 兩款 CPU 的主要信息如下:

騰云 S5000C

飛騰騰云 S5000C 擁有 64 核、32 核、16 核 3 種產(chǎn)品形態(tài),兼容 ARMv8 指令集,支持硬件虛擬化,產(chǎn)品支持商業(yè)和工業(yè)分級(jí),該產(chǎn)品主要面向計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、AI 服務(wù)器、高端網(wǎng)安、行業(yè)級(jí)業(yè)務(wù)主機(jī)服務(wù)器系統(tǒng)、大型互聯(lián)網(wǎng)數(shù)據(jù)中心等場(chǎng)景。

騰銳 D3000

飛騰騰銳 D3000 集成 8 個(gè)飛騰自主研發(fā)的新一代高性能處理器核 FTC862,兼容 64 位 ARMv8 指令集并支持 ARM64 和 ARM32 兩種執(zhí)行模式,支持單精度、雙精度浮點(diǎn)運(yùn)算指令和 ASIMD 處理指令,主頻達(dá)到 2.5GHz,支持硬件虛擬化,支持商業(yè)和工業(yè)分級(jí)。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:飛騰DeepSeek

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知