AI导读:

英特尔发布至强6性能核处理器,瞄准AI推理市场,众多厂商加码推理算力竞赛,预测推理市场规模将达到训练市场的5到10倍,带动国内数据中心步入新发展阶段。

近日,英特尔市场营销集团副总裁、中国区云与行业解决方案和数据中心销售部总经理梁雅莉在英特尔®至强®6性能核处理器发布会后表示,尽管市场短期内可能聚焦于大型通用模型,但AI更广阔的应用空间实际在于推理场景。据财联社记者多方采访梳理,目前国内大模型厂商的算力成本至少有七成仍用于训练端,而未来推理将成为“大模型下半场”。

海内外众多厂商已盯上推理算力市场,芯片巨头英特尔服务器CPU至强(Xeon)系列新品亦瞄准推理市场需求。紫光股份(000938.SZ)旗下新华三集团计算存储产品线副总裁刘宏程指出,AI技术实际应用中,用户最直观的感受往往来自推理环节的性能表现,企业应用层面的推理需求规模往往是训练需求的5-10倍。众多从业者对算力需求的持续增长持乐观态度,预测推理市场将达到训练市场规模的5到10倍。

站在供给视角,国内华为、燧原科技、壁仞科技等芯片厂商纷纷加码AI推理竞赛,同时海外AMD、Cerebras Systems、FuriosaAI等亦积极参与。英特尔梁雅莉认为,推理算力需求下,硬件架构和性能重要,但软件优化和整体系统设计同样关键。深度学习框架需不断优化,CPU、GPU等需与产业具体场景深度融合。

英特尔最新至强6性能核处理器发布,采用分离式模块化设计,配备128个X86内核,支持高速内存和通道,为AI推理算力赛道注入强劲动力。基于英特尔“四年五个制程节点”战略,至强6系列采用Intel 3制程工艺。自第四代至强起,英特尔推出专属指令集AMX,支持大模型推理计算。第六代至强中,AMX亦做出升级。

发布会现场数据显示,至强6性能核在70亿参数的Llama2大模型推理中,相比第五代至强单颗CPU性能和每瓦特性能分别有3.08倍、2.16倍提升。至强6性能核性能装备从64核到128核,单核性能提升1.2倍。除CPU内核数及整体性能提升外,这款CPU对推理的加码更在于带动国内数据中心步入新发展阶段。

刘宏程认为,融合架构相比单一GPU服务器更符合企业私有化微调、推理需求。梁雅莉表示,未来市场环境下,性能和成本需平衡考虑,企业需进行成本效益分析。随着生成式AI算力需求持续增长,本月两大互联网巨头的主场大会围绕英特尔至强6性能核的讨论逐渐增多。OEM厂商方面,超聚变服务器产品总经理朱勇表示,基于通用场景的CPU推理可实现“一芯多用”,降低TCO。

刘宏程称,至强6服务器实现了一个融合基础设施,能够同时兼顾通用计算和GPU加速的需求,加速各行业新技术应用推动。浪潮信息(000977.SZ)、超聚变、新华三、中兴通讯(000063.SZ)、联想等厂商基于英特尔至强6性能核处理器的服务器新品将陆续面市。

(受访者供图)

(文章来源:财联社)