AI导读：

博鳌亚洲论坛2025年年会聚焦AI安全与治理问题，与会专家围绕技术应用与风险平衡、伦理规范等展开深度讨论。AI技术迭代迅速，但存在认知漏洞等安全风险，需全社会共同参与，形成共识，保障AI系统健康、透明、负责任地发展。

从生成式AI走向智能体，AI技术迭代迅速，但也带来了更多的安全和治理问题。在博鳌亚洲论坛2025年年会上，与会专家围绕技术应用与风险平衡、伦理规范、国际合作等展开了深度讨论。

有观点认为，过度严格的治理会抑制创新，使AI技术发展受限。但也有专家提出，若只重创新而忽视治理，可能导致技术失控。共建透明、可理解、可信、负责任的AI生态，对避免“灰犀牛”事件至关重要。

AI中的认知漏洞

vivo首席安全官鲁京辉表示，AI时代最大的安全漏洞是认知漏洞，安全已从“Security”转向“Safety”，需考虑伦理影响和社会系统性风险。业界正努力让通用人工智能更具可解释性，但这项工作极为复杂，存在诸多不确定风险。

鲁京辉强调，平衡治理与创新，形成社会共识，是AI发展的根本挑战。需包括研究者、开发者、政策制定者、最终用户在内的全社会共同参与，通过共识机制，保障AI系统健康、透明、负责任地发展。

中国科学院自动化研究所研究员曾毅也提出，AI伦理安全应成为技术发展的基因，确保与人类价值观一致。建议将伦理安全融入AI开发的底层设计，并视为“第一性原则”。

图片来源：第一财经摄影记者吴军

曾毅认为，智能体的安全问题，需确保决策权力掌握在人类手中。中国工程院院士张亚勤则提出，设定AI技术红线与边界是关键，AI风险可分为可信度与可控性两个层面。

今年3月14日，国家网信办等部门联合发布《人工智能生成合成内容标识办法》，要求添加显式标识，规范传播活动，自9月1日起施行。

藏在“冰山下”的风险

如何平衡应用与治理，保护数据安全？产业、学界、监管各有答案，但多方协作、动态治理、伦理优先、技术透明是共识。

以手机行业为例，AI智能体带来数据安全和隐私保护的新挑战。鲁京辉表示，手机厂商需从数据生命周期和业务生命周期两个维度，构建AI安全治理体系，并参与行业标准制定。

张亚勤认为，智能体风险快速提升，需制定标准降低失控风险，如限制智能体自我复制。但鲁京辉指出，安全性问题不能简单通过制定法律或规则解决，全球对“安全性”定义尚未统一。

鲁京辉强调，安全没有标准答案，但企业必须有标准动作，需更动态、敏捷地平衡发展与安全，既不做保守防守者，也不做野蛮开拓者。

（文章来源：第一财经）