训练大模型的成本之高一直是行业痛点，各路玩家都在思考如何用技术创新把成本“打”下来。

　　3月10日，字节跳动豆包大模型团队发布了针对MoE架构的通信优化系统COMET，该方案通过细粒度计算-通信重叠技术，助力大模型训练优化。据豆包大模型团队介绍，COMET已实际应用于万卡级生产集群，累计节省了数百万GPU小时资源。此外，COMET还可与豆包大模型团队此前发布的新一代稀疏模型架构UltraMem结合，实现协同优化。

　　“在万卡集群上做测试的这个经验，国内很少能有。”一位头部大模型算法工程师在接受可以看到的是，自DeepSeek的开源模型R1在全球范围内“爆红”以来，国内更多大模型玩家以更高的频率进行着技术开源。对此，北京市社会科学院副研究员王鹏向3月1日，DeepSeek在知乎发布了“开源周”后的“彩蛋”，首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。

　　DeepSeek通过MoE架构的创新让激活参数比大幅下降，使得同等效果的大模型所需的算力明显下降。“671B的模型，在处理每个问题时，被调用激活的专家模型参数仅约37B，算力需求起码降低到原来的约二十分之一。”阿里云无影事业部总裁张献涛曾在接受而豆包团队MoE架构的稀疏特性导致计算和通信间的依赖动态且复杂，其分布式训练仍面临着跨设备通信开销巨大的成本挑战。

　　3月10日，豆包大模型团队发布了针对MoE模型的通信优化系统COMET。据介绍，COMET具体通过共享张量依赖解析机制，将共享张量沿Token维度或隐层维度切割，使通信与计算的最小单元对齐；同时通过动态负载分配算法，根据输入规模和硬件环境实时调整线程块分配，消除跨设备通信带来的等待延迟。

　　一位豆包大模型的技术人员告诉豆包大模型团队称，COMET这一创新在大规模MoE模型上可达到单层1.96倍加速，端到端平均1.71倍效率提升。目前，COMET已实际应用于万卡级生产集群，助力MoE模型高效训练，并已累计节省了数百万GPU小时资源。

　　“用100张卡测试的波动可能很少，因为出问题的概率较小，但1万张卡的波动就会大很多。”一位头部大模型算法工程师向
 

　　从在全球范围内引起热议的DeepSeek-R1到开源周的“大放送”，DeepSeek因持续开源核心技术被业内称为“源神”。基于DeepSeek的动作，国内大模型厂商纷纷跟进并加速了开源行动。

　　2月18日，阶跃星辰首次开源其Step系列基座模型。该模型分别是目前全球范围内参数量最大的开源生成模型阶跃Step-Video-T2V，以及行业内首款产品级开源语音交互大模型阶跃Step-Audio。MiniMax也在1月15日发布并开源新一代01系列模型，包含基础语言大模型MiniMax-Text-01和除了头部的AI初创公司外，重投大模型的多家互联网巨头也在紧跟开源这股热潮，其中阿里一直是坚定的“开源派”。3月3日，开源社区Hugging Face最新榜单显示，开源仅6天的阿里万相大模型已反超DeepSeek-R1，登顶模型热榜、空间榜两大榜单，成为近期全球开源社区最受欢迎的大模型。3月6日凌晨，阿里再度抛出新的开源成果。阿里云通义千问官微宣布发布并开源最新的推理模型QwQ-32B。据介绍，这是一款拥有320亿参数的模型，其性能可与具备6710亿参数的DeepSeek-R1媲美。

　　“开源优秀技术可以获得更多声量，也可以吸引更多企业、开发者进行二次开发，有助于生态构建。”一位豆包大模型的技术人员向同样，王鹏也认为，开源模式能促进技术发展、创新，既可帮助大模型公司扩大其在全球AI市场的影响力和份额，也可以吸引到更多参与者加入到生态系统的共建中，从而降低自身研发成本。

　　不过，也有不同的声音，大模型公司选择开源模式究竟是为了名还是利？“如果开源的技术比闭源的更好用，免费的技术比收费的更好用，那么谁还用闭源和收费的？”工信部信息通信经济专家委员会委员盘和林在接受