2025年，上海迎来了世界人工智能大会的盛大开幕，同时，人工智能全球治理高级别会议也在此间举行。在“有益、安全、公平”为主题的人工智能向善分论坛上，国家网信办网络管理技术局局长于永河透露了一组令人瞩目的数据：截至目前，已有474款大型人工智能模型完成备案，247款大模型的应用或功能完成登记，而这些大模型应用的注册用户总数已突破30亿大关。
这一备案举措与《生成式人工智能服务管理暂行办法》紧密相关。为有效应对生成式人工智能带来的风险与挑战，2023年7月，国家网信办联合其他六个部门共同发布了该《暂行办法》。该办法明确要求，提供具有舆论属性或社会动员能力的生成式人工智能服务的实体，需按照国家规定进行安全评估，并履行算法备案及变更、注销备案等相关手续。
随着生成式人工智能和深度合成技术的飞速发展，信息生成与合成的便捷性日益增强。然而，虚假信息的泛滥、深度伪造以及欺诈行为也随之频发，成为亟待解决的问题。为此，《互联网信息服务深度合成管理规定》及《暂行办法》等规章制度均强调了网络服务提供者对AI生成合成内容进行标识的义务。
针对“眼见不一定为实”的信任危机，于永河指出，国家网信办网络管理技术局聚焦于生成合成内容的标识添加这一关键环节，并于今年3月联合多部门发布了《人工智能生成合成内容标识办法》（简称《标识办法》）。与此同时，配套的强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》也正式施行。
在论坛上，于永河详细阐述了《标识办法》的制定思路，并介绍了如何通过标识这一手段，完善人工智能的全生命周期治理，推动人工智能产业的健康有序发展。他提到，该办法首先提出了一个适应当前现状的全周期管理方案。考虑到在多媒体文件中添加数字水印会增加企业成本，且识别难度大，同时在文本中添加隐式标识存在技术难题，因此并未对数字水印及识别作出强制性要求。相反，通过嵌入源数据的技术手段添加隐式标识，既无需对网站平台进行复杂改造，又能实现互相识别，从而在控制成本的同时，确保生成合成内容的可监督和可追溯性。
在标识方法上，《标识办法》也有所创新。在文字方面，参照了注册商标和3C认证标识，创新性地提出了文字角标形式的显式标识。在音频方面，则采用了较为通用的“摩斯码”式标识，以减少对用户的干扰。还鼓励内容传播服务提供者加强生成合成内容的识别能力，提升鉴别准确性，及时标注出疑似生成合成的内容，避免误标和漏标。
于永河还强调了全链条标识治理的重要性，这一治理方案贯穿于内容制作、内容传播以及功能使用的各个阶段。在内容生成阶段，制作平台需在内容生成的同时嵌入隐式标识，记录生成合成标签、制作平台编码等关键信息，为后续的全流程识别和溯源提供基础。在内容传播阶段，传播平台需主动承担起核验责任，通过技术手段解析文件元数据中的隐式标识，并识别显示标识或内容生成痕迹，特别是要兼容主要制作平台的语言数据标识方法，对未合规标识的内容进行拦截或补充标注。在应用分发阶段，应用程序分发平台需在应用上架前严格审查与标识相关的材料，拒绝上架未按要求进行标识的应用，从源头上保障用户获取的AI工具具备规范的标识能力。
论坛现场气氛热烈，与会者对于《标识办法》的实施寄予厚望。据于永河透露，近期还将发布包括文本、图片、音频、视频各模态的元数据标注方法、元数据安全防护方法以及生成合成内容检测方法等在内的6项实践指南，为人工智能的治理提供更加具体的指导和支持。
