随着人工智能（AI）大模型的广泛应用，内容生成形态正经历颠覆性变革，但挑战与风险也随之浮现。

头豹研究院2月26日发布的《从Deepseek现象到信息治理革命：共建数字时代清朗空间》报告指出，AI技术提升生产效率的同时，也引发了信息过载、模型偏见加剧、逻辑自证陷阱等风险。若媒体、券商等机构利用AI生成虚假内容，不仅会削弱公众信任，还可能引发资本市场波动，且低成本的内容生成模式已对传统产业链如数据中心、芯片厂商造成冲击。

中央网信办近期发布的2025年“清朗”系列专项行动整治重点明确提出，要整治AI技术滥用乱象。那么，各方主体应如何应对AI大模型的“幻觉”问题？

直面“幻觉”

报告中的“信息过载严重”源于AI大模型混杂了各类来源和立场的内容，公众难以迅速辨别信息真伪。此外，AI大模型还存在“模型偏见加剧”问题，即训练中的潜在偏见和错误被放大，导致内容出现事实偏差。而“逻辑自证陷阱”则是指AI大模型能构建出看似合理的内容。

头豹联合创始人兼总裁王晨晖指出，AI大模型一旦生成虚假内容，将对内容生态及公众产生严重影响。错误和虚假内容的泛滥会破坏信息生态的健康发展。

如何应对？王晨晖建议，内容创作应依赖专业团队或机构进行严格把关，确保专业性、准确性和可靠性。特别是在资本市场等领域，避免不合格信息流入互联网生态。同时，内容发布平台需建立溯源审查机制，确保信息真实性和时效性。此外，网安公司与AI搜索引擎平台应加强合作，建立防火墙和知识库，通过AI与人工审核结合，实时监控、分类和过滤信息。

中国数实融合50人论坛副秘书长胡麒牧认为，AI大模型生成虚假内容与模型训练相关，但本质是语料输入问题。一方面，通用大模型训练时使用的语料多为公共数据，专业数据在企业内部，除非企业本地化部署AI大模型，否则不会开放。另一方面，通用大模型通过公域渠道获取的数据中，英文语料较多，中文语料非常少。而优质AI大模型的训练依赖于丰富的优质语料和算法迭代。

找到最优解

上海人工智能研究院算法专家陆文韬表示，为避免AI大模型生成错误结果，从技术角度应注意三方面问题：确保训练数据高质量和多样性；调整模型架构与训练策略；完善实时监控与反馈机制。

胡麒牧认为，行业、企业掌握着优质语料，但要让企业拿出专业语料库，需要数据流通和交易机制，让企业认为开放语料库后市场收益远大于行业壁垒降低风险。

陆文韬表示，未来需平衡语料价值挖掘与技术秘密保护的关系，重点关注数据安全技术与合规机制并行推进。数据脱敏与加密、可信数据生态构建、合规工具链完善等方法都值得借鉴。

有效监管

报告指出，随着信息生态复杂度提升，单一管理和监管手段难以应对虚假信息传播。网络安全公司可与AI技术联手，构建全链条监控体系。

胡麒牧表示，AI大模型通过不断纠偏、调整达到安全“域值”，低于此值的模型需警惕。目前，全流程、全链条监控AI大模型还不现实，但可通过了解安全“域值”预判风险。对于存在道德风险的语料输入者，可通过打标签、人工复核处理。现阶段，建议用AI大模型生成初稿，再进行人工校对和校验。

陆文韬建议，制度与技术需协同，如创建白名单知识库，在金融等领域强制调用权威知识库，确保信息准确可靠。同时，进行跨境数据审查，拦截可能引发地缘误导的信息。

王晨晖呼吁跨行业协作，共同构建坚固的内容监管链条，从源头到终端确保内容质量和可信度，推动AI时代内容普惠化生产，促进信息生态健康发展。

（文章来源：第一财经）