IT之家 2 月 27 日消息，在 DeepSeek 開源周第四日，摩爾線程宣布已成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe，并發(fā)布相關(guān)開源代碼倉庫：MT-DeepEP 和 MT-DualPipe。
據(jù)介紹，DeepEP 是一個用于 MoE（混合專家）模型訓(xùn)練和推理的開源 EP（expert parallelism，專家并行）通信庫，主要適用于大模型訓(xùn)練，特別是需要 EP 的集群訓(xùn)練。它通過優(yōu)化通信信道的使用率，提升了訓(xùn)練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU 適配了 DeepEP，并支持以下特性：
高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine
支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點內(nèi)通信
訓(xùn)練及推理預(yù)填充階段的高吞吐量計算核心
推理解碼階段的低延遲計算核心
原生支持 FP8 數(shù)據(jù)分發(fā)
靈活控制 GPU 資源，實現(xiàn)計算與通信的高效重疊
DualPipe 是 DeepSeek-V3 提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，減少了“流水線氣泡”（設(shè)備空閑等待）。摩爾線程依托深度學(xué)習(xí)框架 Torch-MUSA（已開源）和 MUSA 軟件棧全方位的兼容性，實現(xiàn)了對 DualPipe 這一算法的支持。
目前，MT-DualPipe 可以完整接入摩爾線程 MT-Megatron 框架和 MT-TransformerEngine 框架（即將開源），實現(xiàn) DeepSeek V3 訓(xùn)練流程完整復(fù)現(xiàn)。此外，MT-DualPipe 結(jié)合 MT-Megatron 可實現(xiàn)完整 DeepSeek V3 模型 MLP-FFN 分離以及 DW-DG 分離，進(jìn)一步降低氣泡占比，優(yōu)化通信效率。同時，MT-DualPipe 與 MT-TranformerEngine 和 MT-DeepEP 的結(jié)合，可利用 MT-DeepEP 和異步通信引擎實現(xiàn)更高效的通信掩蓋，降低對計算資源損耗。
IT之家附 Torch-MUSA 開源地址如下：
https://github.com/MooreThreads/Torch_MUSA
相關(guān)閱讀：
《DeepSeek 開源進(jìn)度 2/5：首個用于 MoE 模型訓(xùn)練和推理的 EP 通信庫 DeepEP》
《DeepSeek 代碼庫開源進(jìn)度 1/5：為 Hopper GPU 優(yōu)化的高效 MLA 解碼內(nèi)核 FlashMLA》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。