DeepSeek发布并行优化策略开源

DeepSeek开源周第四日，DeepSeek宣布开源了公司内部的并行优化策略（Optimized Parallelism Strategies）。此次开源，DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。据DeepSeek介绍，DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法，它实现了向后和向后计算通信阶段的完全重叠，还减少了管道气泡。据天眼查数据显示，在GitHub上，目前该算法已经获得544个Star收藏。