DeepEP:DeepSeek推出的首个(EP)通信库,助力大规模MoE模型训练与推理

DeepEP是由DeepSeek团队开源的高效专家并行(EP)通信库,专为混合专家(MoE)模型的训练和推理任务设计。它通过优化通信效率,支持低精度运算(如FP8和BF16),并针对NVLink和RDMA网络进行了深度优化,显著提升了大规模模型的训练和推理性能。

DeepSeekMoE模型