3月1日，DeepSeek在知乎上发表题为的，全面揭晓V3/R1 推理系统背后的关键秘密。

　　据介绍，DeepSeek-V3/R1推理系统的优化目标是更大的吞吐、更低的延迟。为了实现这两个目标，DeepSeek使用了大规模跨节点专家并行的方法，并通过一系列技术策略，最大程度地优化了大模型推理系统，实现了惊人的性能和效率。

　　具体而言，在更大的吞吐的方面，大规模跨节点专家并行能够使得batch size大大增加，从而提高GPU矩阵乘法的效率，提高吞吐。

　　batch size在深度学习中是一个非常重要的超参数，指模型在训练过程中每次使用的数据量大小。它决定了每次模型更新时使用的训练样本数量，调整batch size可以影响模型的训练速度、内存消耗以及模型权重的更新方式。

　　在更低的延迟方面，大规模跨节点专家并行使得专家分散在不同的GPU上，每个GPU只需要计算很少的专家，从而降低延迟。

　　但是，由于大规模跨节点专家并行会大幅增加系统的复杂性，带来了跨节点通信、多节点数据并行、负载均衡等挑战，因此DeepSeek在中也重点论述了使用大规模跨节点专家并行增大batch size的同时，如何隐藏传输的耗时，如何进行负载均衡。

　　具体来看，DeepSeek团队主要通过规模化跨节点专家并行、双批次重叠策略、最优负载均衡等方式，最大化资源利用率，保证高性能和稳定性。

　　值得注意的是，还披露了DeepSeek的理论成本和利润率等关键信息。据介绍，DeepSeek V3 和R1的所有服务均使用英伟达的H800 GPU，由于白天的服务负荷高，晚上的服务负荷低，DeepSeek实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。

　　通过时间上的成本控制，DeepSeek表示DeepSeek V3和R1推理服务占用节点总和，峰值占用为278个节点，平均占用226.75个节点。
 

　　不过，DeepSeek也强调，实际上的收入或许并没有那么多，因为V3的定价相较于R1要更低，另外夜间还会有折扣。上周五，DeepSeek宣布连续五天开源五大软件库。2月25日DeepSeek选择了先在GitHub上线，然后再在官推发布上新通知。该公司25日宣布
 

　　据悉，DeepEP是MoE模型训练和推理的ExpertParallelism通信基础，可实现高效优化的全到全通信，以支持包括FP8在内的低精度计算，适用于现代高性能计算。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供高吞吐量，还支持流式多处理器数量控制，从而在训练和推理任务中实现高吞吐量性能。