AI导读:

随着AI大模型火爆全网,内容生成形态发生颠覆性变革,但信息过载、模型偏见等风险也随之而来。中央网信办提出整治AI技术滥用乱象,专家建议依赖专业团队严格把关内容,建立溯源审查机制,加强合作构建防火墙和知识库,推动信息生态健康发展。

随着人工智能(AI)大模型火爆全网,内容生成形态已然发生了颠覆性的变革,但一系列挑战与风险也随之而来,如信息过载、模型偏见等。《从Deepseek现象到信息治理革命:共建数字时代清朗空间》微报告指出,AI虽提升了生产效率,却也带来了诸多风险。一旦媒体、券商等使用AI生成虚假内容,不仅会削弱公众信任,还可能引发资本市场波动,并对传统产业链如数据中心、芯片厂商等造成冲击。

中央网信办近期发布的2025年“清朗”系列专项行动整治重点明确提出,要整治AI技术滥用乱象。那么,政府、企业、公众等各方主体应如何解决AI大模型带来的“幻觉”问题?

直面“幻觉”

AI大模型会将各种来源的内容混杂,导致公众难以辨别信息真伪。此外,模型偏见会加剧内容的事实偏差,而逻辑自证陷阱则让AI能构建出看似合理的内容。AI大模型一旦生成虚假内容,将对内容生态及公众产生严重影响,破坏信息生态的健康发展。

为此,专家建议,在内容生产阶段,必须依赖专业团队或机构进行严格把关,确保内容的专业性、准确性和可靠性。同时,内容发布平台需建立完善的溯源审查机制,确保信息真实无偏。若虚假信息流入市场,网安公司与AI搜索引擎平台需加强合作,建立防火墙和知识库,通过AI与人工审核相结合,对信息进行实时监控和过滤。

中国数实融合50人论坛副秘书长胡麒牧认为,AI大模型生成虚假内容与模型训练相关,但本质是语料输入问题。一方面,通用大模型训练时使用的语料多为公共数据,缺乏专业数据;另一方面,中文语料匮乏,优质AI大模型的训练依赖于丰富的优质语料和算法迭代。

找到最优解

为避免AI大模型产生“幻觉”,上海人工智能研究院算法专家陆文韬建议,从技术实现角度应注意三个方面:确保训练数据的高质量和多样性;调整模型架构与训练策略;完善实时监控与反馈机制。

同时,行业、企业需平衡语料价值挖掘与技术秘密保护之间的关系,重点关注数据安全技术与合规机制并行推进。数据脱敏与加密、可信数据生态构建、合规工具链完善等方法都值得借鉴。

有效监管

随着信息生态复杂度提升,单一的管理和监管手段已难以应对虚假信息传播。网络安全公司可与AI技术联手,构建全链条监控体系。监管部门虽难以全流程监控AI大模型,但可通过了解安全“域值”预判风险。对于存在道德风险的语料输入者,可通过打标签、人工复核方式处理。

陆文韬建议,制度与技术需协同,如创建白名单知识库,在金融、医疗等领域强制调用权威知识库,确保信息准确可靠。同时,进行跨境数据审查,拦截可能引发地缘误导的信息。

专家呼吁跨行业协作,共同构建坚固的内容监管链条,从源头到终端确保内容质量和可信度,推动AI时代内容的普惠化生产,促进信息生态健康发展。

(文章来源:第一财经