摩爾線程支持 DeepSeek 開源周“全家桶”

IT之家 3 月 2 日消息，DeepSeek 開源周正式收官，摩爾線程智能科技（北京）股份有限公司昨日晚發(fā)文宣布，在短時間內(nèi)成功實現(xiàn)對 DeepSeek 各個開源項目的全面支持，涵蓋 FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer 文件系統(tǒng)（3FS）。

IT之家附摩爾線程支持 DeepSeek 開源周“全家桶”代碼合集如下：

FlashMLA

FlashMLA 是一款高效的 MLA（Multi-Head Latent Attention）推理內(nèi)核開源倉庫，旨在加速 MLA 機(jī)制的計算，特別適用于 DeepSeek 系列模型（如 DeepSeek-V2、V3 和 R1）。

摩爾線程基于全新 MUSA Compute Capability 3.1 計算架構(gòu)，可提供原生 FP8 計算能力，同時升級了高性能線性代數(shù)模板庫 MUTLASS，快速支持了 FlashMLA。借助 MUTLASS 0.2.0，摩爾線程發(fā)布開源倉庫 MT-FlashMLA，能夠快速對 DeepSeek FlashMLA 進(jìn)行兼容部署。

MT-FlashMLA 開源地址：

• https://github.com/MooreThreads/MT-flashMLA

MUTLASS FlashAttention3 地址：

• https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd

DeepEP

DeepEP 是一個用于 MoE（混合專家）模型訓(xùn)練和推理的開源 EP（expert parallelism，專家并行）通信庫，主要適用于大模型訓(xùn)練，特別是需要 EP 的集群訓(xùn)練。它通過優(yōu)化通信信道的使用率，顯著提升了訓(xùn)練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU，第一時間適配了 DeepEP，支持以下特性：

• 高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine

• 支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點內(nèi)通信

• 訓(xùn)練及推理預(yù)填充階段的高吞吐量計算核心

• 推理解碼階段的低延遲計算核心

• 原生支持 FP8 數(shù)據(jù)分發(fā)

• 靈活控制 GPU 資源，實現(xiàn)計算與通信的高效重疊

MT-DeepEP 開源地址：

• https://github.com/MooreThreads/MT-DeepEP

DeepGEMM

DeepGEMM 是一個支持密集矩陣與混合專家（MoE）矩陣乘法的 FP8 GEMM 庫，為 V3 / R1 的訓(xùn)練與推理提供強(qiáng)大動力。這個開源倉庫基于高性能通用矩陣乘法（GEMM）的 C++ 模板庫進(jìn)行開發(fā)。摩爾線程基于 MUTLASS 在全新 GPU 架構(gòu)上優(yōu)化實現(xiàn)了 FP8 矩陣乘法，支持 DeepGEMM 的相應(yīng)功能。

MUTLASS FP8 GEMM 地址：

• https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder

• https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm

DualPipe

DualPipe 是 DeepSeek-V3 提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，顯著減少了“流水線氣泡”（設(shè)備空閑等待）。與傳統(tǒng)流水線并行相比，DualPipe 采用雙向數(shù)據(jù)流設(shè)計，使數(shù)據(jù)從兩端相向處理，大幅提升了資源利用率與訓(xùn)練效率。

摩爾線程依托深度學(xué)習(xí)框架 Torch-MUSA（已開源）和 MUSA 軟件棧全方位的兼容性，實現(xiàn)了對 DualPipe 這一算法的高效支持。MT-DualPipe 可以完整接入摩爾線程 MT-Megatron 框架和 MT-TransformerEngine 框架（即將開源），實現(xiàn) DeepSeek V3 訓(xùn)練流程的完整復(fù)現(xiàn)。

MT-DualPipe 開源地址：

• https://github.com/MooreThreads/MT-DualPipe

Torch-MUSA 開源地址：

• https://github.com/MooreThreads/Torch_MUSA

3FS

Fire-Flyer 文件系統(tǒng)（3FS）是一種利用現(xiàn)代 SSD 和 RDMA 網(wǎng)絡(luò)的全部帶寬的并行文件系統(tǒng)，可以把固態(tài)硬盤的帶寬性能利用到極致，在 V3 和 R1 的訓(xùn)練與推理過程中，3FS 成為關(guān)鍵支撐，以應(yīng)對 AI 訓(xùn)練和推理工作負(fù)載的挑戰(zhàn)。

摩爾線程在一天內(nèi)迅速完成了高性能分布式文件系統(tǒng) 3FS 的搭建，并高效開發(fā)了存儲插件，成功實現(xiàn)與夸娥智算集群的無縫集成，為 AI 訓(xùn)練、AI 推理、科學(xué)計算等場景提供全棧存儲加速方案。

3FS CSI Driver 地址：

• https://github.com/MooreThreads/csi-driver-3fs

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。