训练大模型的成本高昂，一直是行业的痛点，各大企业都在探索通过技术创新降低成本。3月10日，字节跳动豆包大模型团队发布了针对MoE（混合专家模型）架构的通信优化系统COMET，该系统利用细粒度计算-通信重叠技术，有效优化了大模型的训练。据豆包大模型团队介绍，COMET已应用于万卡级生产集群，累计节省了数百万GPU（图形处理器）小时资源。此外，COMET还可与豆包大模型团队此前发布的新一代稀疏模型架构UltraMem协同优化。

一位头部大模型算法工程师在接受《每日经济新闻》记者采访时表示：“在万卡集群上做测试的经验，国内很少有，很可能只有字节具备这一经验，并且他们还分享了这一经验。虽然目前大部分国内公司都没有万卡，但随着行业发展，这一技术和经验将变得非常重要。”

自Deepseek的开源模型R1在全球走红以来，国内的大模型企业开始更频繁地开源技术。北京市社会科学院副研究员王鹏指出，大模型公司选择开源优秀技术，有助于扩大市场份额、吸引合作伙伴、构建生态、提升品牌形象和知名度。

MoE训练效率提升1.71倍，字节开源COMET技术

3月1日，DeepSeek在知乎公布了模型降本增效的技术细节，理论利润率高达545%。DeepSeek通过MoE架构的创新，大幅降低激活参数比，使同等效果的大模型所需算力明显下降。而豆包团队注意到，MoE架构的稀疏特性导致计算和通信间的依赖复杂，分布式训练面临巨大通信开销。

针对这一问题，豆包大模型团队发布了COMET系统。COMET通过共享张量依赖解析机制，将通信与计算的最小单元对齐，并通过动态负载分配算法，消除跨设备通信的等待延迟。豆包大模型团队表示，COMET在大规模MoE模型上可实现单层1.96倍加速，端到端平均1.71倍效率提升，已应用于万卡级生产集群，累计节省数百万GPU小时资源。

随着AI行业竞争的加剧，各大企业纷纷开源最新技术，争夺“源神”地位。DeepSeek因持续开源核心技术而被业内瞩目，国内大模型厂商也加速跟进开源行动。阶跃星辰、MiniMax等AI初创公司，以及阿里等互联网巨头都积极参与开源热潮。

开源优秀技术可以获得更多关注度，吸引更多企业和开发者进行二次开发，有助于构建生态。然而，也有观点认为，开源模式虽不能直接创造利润，但能带来用户，对于互联网企业而言，流量比利润更为重要。

（文章来源：每日经济新闻）