DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2月25日，DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍，DeepEP是第一个用于MoE（混合专家）模型训练和推理的EP（Expert Parallelism，专家并行）通信库，可以实现高效且优化的全对全通信，支持包括FP8在内的低精度运算，适配现代高性能计算需求。
同时，DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供了高吞吐量，还支持SM（Streaming Multiprocessors）数量控制，兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景，DeepEP还提供了纯RDMA的低延迟内核，支持自适应路由，能实现更灵活的GPU资源控制，满足不同场景需求。
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”
