完善标识制度防范人工智能生成合成内容以假乱真|AI_新浪财经

转自：中国质量报

□ 胡立彪

国家网信办等部门近日联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），明确要求对可能导致公众混淆或者误认的生成合成内容添加显式或隐式标识。这是全球范围内首部关于人工智能（AI）生成合成内容标识的国家标准，是关于AI内容治理机制建设的重要探索，对推动AI内容产业有序发展具有重要的指导意义。

近年来，AI技术迅速发展，为用户生成合成多元化的文本、图片、代码、音频、视频、虚拟场景等信息提供了重要工具，促进了相关产业繁荣，也为经济社会发展创造了巨大机遇。截至去年底，我国已有302款生成式AI服务在国家网信办完成备案，生成式AI产品用户规模达到2.3亿人。今年政府工作报告提出，持续推进“人工智能+”行动，将数字技术与制造优势、市场优势更好结合起来，支持大模型广泛应用。

AI技术在推动各行各业技术革新的同时，也带来深度伪造、虚假信息等潜在风险。有媒体调查，一家MCN（多渠道网络）机构利用AI技术每天生成数千篇谣言文章，它们看上去都“真实合理”，对于不熟悉互联网技术的受众而言，其中“有图有真相”的信息内容很容易信以为真。“地铁行凶”“西安突发爆炸”“重庆巫溪一民房发生爆炸事故”等虚假图片、视频都曾产生恶劣的社会影响，它们均为AI批量制造。

AI技术被滥用的最大问题是实施犯罪。2024年6月，“男子用AI伪造学生同事裸照”冲上微博热搜。据调查，犯罪嫌疑人用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再以每张1.5元卖出，非法获利近万元。2024年1月，香港一家跨国公司遭遇“变脸”诈骗，诈骗者通过公开渠道获取相关资料，利用深度伪造技术合成该公司高管的形象和声音，并制作出多人参与视频会议的虚假视频，诈骗金额高达2亿港元。

许多技术革新都有“双刃剑”属性，AI技术也是如此。在挖掘AI技术正向功能的同时，正视其潜在风险并进行相应的规制与防范，已经成为国际共识。2024年4月，美国国家标准与技术研究院发布《降低合成内容带来的风险》，列出检测、验证和标记合成内容的方法，包括数字水印和元数据记录。2024年8月1日，欧盟《人工智能法》正式生效，规定生成合成音频、图像、视频或文本内容的有限风险AI系统应履行透明度与明确标识义务。2024年3月，联合国发布《抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展》，鼓励开发和部署有效、可获取、适应性强、具有国际互操作性的内容认证和来源识别机制。

综合来看，不论是有关国家还是国际组织，均肯定AI生成内容标识的制度价值，并已提出相应规范，在价值层面倡导真实性以遏制虚假信息、深度伪造，在技术层面大都采用水印、内容标签等标识技术进行规制。我国在规范AI应用方面走在全球前列。国家网信办等部门于2022年发布的《互联网信息服务深度合成管理规定》，是世界范围内首次明确提出生成式AI标识义务的部门规章，要求深度合成服务提供者对深度合成服务履行标识义务。

《标识办法》承继该规定的管理理念，对AI生成合成内容的标识方法提出要求，通过显式标识明确“哪些内容是生成的”，隐式标识明确“是谁生成的”和“由谁传播的”，厘清了AI生成合成内容的全生命周期中网络信息服务提供者等不同主体的合规责任，从而降低AI安全风险，促进行业健康发展。

AI治理是一项复杂的系统工程，需要技术、法律、伦理等多维度协同。《标识办法》出台标志着我国在AI治理领域迈出了重要一步。接下来，还要进一步完善AI风险治理“制度工具箱”，建立融合支持发展、激励创新、防控风险、保障权益等多方面目标的AI风险治理体系，引导生成式AI技术及应用良性发展。

【观象台】