在 DeepSeek 开源周第二天，我们很高兴介绍 DeepEP —— 首个用于 MoE 模型训练和推理的开源 EP 通信库。
DeepEP 特点包括：
高效全对全通信，支持 NVLink 和 RDMA，适用于节点内和节点间通信。
提供高吞吐量内核，优化训练和推理预填充。
低延迟内核专为推理解码设计。
支持原生 FP8 调度。
灵活控制 GPU 资源，实现计算与通信重叠。
标签:
文章来源: 酷玩网
版权声明: 本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任
