AI导读:

蚂蚁集团使用国产芯片开发新型AI模型训练技术,可将成本降低20%,并开源了两款MoE模型,推动AI技术的普惠发展。这一技术突破标志着蚂蚁集团在AI领域的竞争力显著提升。

【导读】蚂蚁AI重磅突破,国产AI模型迎来新飞跃。

近日,国产AI模型领域再次传来好消息。3月24日,蚂蚁集团宣布,他们使用国产芯片开发了一种新型人工智能模型训练技术,该技术可显著降低训练成本,最高可达20%。

据悉,蚂蚁集团采用了国产芯片,并结合“专家混合”(Mixture of Experts)机器学习方法进行模型训练。这一举措使得蚂蚁集团取得的训练效果与采用英伟达H800等高端芯片的结果相当。

分析认为,这一技术突破标志着蚂蚁集团在AI领域的竞争力显著提升。自Deepseek展示出能够以远低于OpenAI和谷歌投入的数十亿美元成本训练出强大模型以来,AI领域的竞争愈发激烈。而蚂蚁集团的这一技术,无疑为中国企业在AI领域寻求本土替代方案提供了有力支持。

蚂蚁集团Ling团队近期发表了技术成果论文《每一个FLOP都至关重要:无需高级GPU即可扩展3000亿参数混合专家LING大模型》。论文提到,MoE模型在某些特定任务中已展现出优于传统稠密模型的性能,但其训练成本高昂。因此,蚂蚁集团的研究旨在提出创新的训练策略,以降低训练成本,推动AI技术的普惠发展。

为了推动AI技术的广泛应用,蚂蚁集团开源了两款MoE模型:Ling-Lite和Ling-Plus。这两款模型在资源成本与模型性能之间取得了良好平衡。实验结果显示,即使在低性能设备上,也能实现大规模MoE模型的有效训练,降低了基础模型开发的成本。

当前,最先进的MoE模型训练严重依赖高性能AI加速器,但这类高端硬件持续供不应求。相比之下,性能较低的加速器更易获得且单价更低。蚂蚁集团的研究凸显出建立一种能够在异构计算单元和分布式集群之间无缝切换的技术体系的必要性,从而优化训练与推理的整体成本。

此外,蚂蚁集团的研究还表明,通过优化训练策略,即使在低规格硬件系统上也能实现高效训练,进一步降低了AI应用的成本。这一成果对于中小企业而言尤为重要,因为他们往往难以承担高昂的训练成本。

蚂蚁集团回应称,他们将持续针对不同芯片进行调优,以降低AI应用成本,并逐步通过开源分享这些成果。这将有助于推动中国AI领域的技术创新和发展。

(文章来源:中国基金报)