《人工智能安全治理框架》1.0版要点解读|人工智能安全治理框架_新浪财经

《人工智能安全治理框架》1.0版作为刚刚发布的一份有关人工智能治理的基础性、框架性技术指南，明确了治理原则、比较全面地罗列了安全风险，并有针对性地从技术应对和综合治理两方面提出解决方案，面向四种不同角色给出了安全开发应用指引。

作者丨顾萍孟庆海

伴随着ChatGPT, Sora, Bard等AIGC产品在全球范围内的火热流行，人工智能领域在面对前所未有的机遇的同时，也面临着诸多风险和挑战。加快立法、行业监管和治理，也是当前国内人工智能领域需要推进的工作。

2024年9月9日，全国网络安全标准化技术委员会（以下简称“网安标委”）发布了《人工智能安全治理框架》1.0版（以下简称“《治理框架》”）。本文将对这一份人工智能领域的指导性文件中的要点作出解读，以期对国内人工智能领域的治理原则、安全风险点以及应对、治理措施进行整体理解和把握。

一、给出了人工智能领域的治理原则

《治理框架》将人工智能安全治理原则概括为“包容审慎、确保安全”“风险导向、敏捷治理”“技管结合、协同应对”“开放合作、共治共享”这四点，旨在鼓励人工智能创新发展，同时有效防范化解人工智能安全风险，[1]并有助于推动人工智能安全治理国际合作，推动形成具有广泛共识的全球人工智能治理体系。

二、风险、措施、指引层次明确，架构清晰

《治理框架》按照“提出问题”到“解决问题”的顺序来布局：首先梳理人工智能技术本身，及其在应用过程中面临的各种安全风险隐患；之后针对前述安全风险点，从技术措施和综合治理两个方面来提出解决方案；最后还针对不同角色（模型算法研发者、AI服务提供者、重点领域用户和社会公众用户），给出了开发应用人工智能技术的若干安全指导规范；《治理框架》末尾还以映射表格的形式将“安全风险”“技术应对措施”“综合治理措施”的对应关系一一进行列举，整体层次明确，架构清晰，让读者能够准确定位风险问题与解决方案。

三、较全面地罗列了人工智能安全风险

《治理框架》将人工智能安全风险分为内生（即自身）安全风险与应用安全风险两大模块。

1、内生安全风险中的模型算法安全风险

《治理框架》聚焦于AI模型算法的可靠性，关注模型算法可解释性差的风险，偏见、歧视风险，鲁棒性弱的风险，被窃取、篡改的风险，输出不可靠风险，对抗攻击风险。由于模型算法是人为设计、干预的，在一定程度上可能会因算法内部运行逻辑复杂、引入或训练数据存在个人偏见或歧视、深度神经网络本身的大规模及非线性特征、算法核心信息被窃取或篡改、来自攻击者的误导数据等因素，导致AI模型存在着输出结果难以预测和归因、偏见歧视或误导、决策错误，甚至模型运行故障、瘫痪等的严重后果。

2、内生安全风险中的数据安全风险

2024年2月29日，网安标委发布了TC260-003《生成式人工智能服务安全基本要求》，作为一份人工智能领域的技术规范文件，它对“语料安全”（“语料”即“训练预料”，指所有直接作为模型训练输入的数据，包括预训练、优化训练过程中的输入数据）进行了重点规范。在此基础上，《治理框架》对人工智能模型的输入、输出端的数据安全风险都作出了全面罗列，指导算法研发者、服务提供者和用户关注模型训练数据和人机交互数据的安全风险。

3、内生安全风险中的系统安全风险

该部分指出了人工智能模型、产品的缺陷、后门被攻击利用风险，算力安全风险，以及人工智能产业链的供应链安全风险，并对产品研发过程、算力基础设施资源、以及涉及国内外的宏观供应链中的安全风险进行了列举。

4、应用安全风险

该部分针对人工智能在网络域、现实域、认知域、伦理域中的安全风险进行了梳理。可能引发重点关注的风险包括信息内容安全风险、不当使用引发信息泄露风险等。

其中，信息内容安全的风险点包括AI生成或合成内容的虚假信息传播、歧视偏见、隐私泄露、侵权、以及输出违法有害内容等问题。

信息泄露风险主要关注用户输入数据中包含了商业秘密、敏感信息的情况下，可能导致信息泄露，造成严重后果。据报道，韩国某知名企业工作人员在使用ChatGPT时，因不当使用，发生了机密数据泄露事件，涉及设备测量资料等企业商业机密信息。因此，用户在使用人工智能产品时要高度关注，防范此类风险。

四、有针对性地提出技术应对措施、综合治理措施

针对上述安全风险，《治理框架》指导模型算法研发者、服务提供者、系统使用者等从训练数据、算力设施、模型算法、产品服务、应用场景各方面采取技术措施予以防范。

1、针对模型算法安全风险，《治理框架》建议的技术应对措施是提供明确说明、建立并实施安全开发规范等。

2、针对数据安全风险，技术应对措施主要着眼于个人信息保护和知识产权保护，以及数据处理（包括跨境数据处理）的规则和措施等。

3、针对系统安全风险，技术应对措施包括适当公开风险、标识输出内容、加强风险识别检测与防护、加强运维能力、关注供应链安全等措施。

4、针对应用安全风险，技术应对措施包括建立安全防护机制、数据护栏、设置服务提供边界、筛选判别不真实或有偏见歧视的数据等措施。

5、综合治理措施层面，《治理框架》主要从制度、管理、应急和监督机制、人才培养、国际交流合作等方向，宏观上给出了综合治理的制度规范。

五、为不同角色制定了安全开发应用指引

《治理框架》分别从模型算法研发者、人工智能服务提供者、重点领域使用者及社会公众四种角色的角度，给出了每种角色在处理或使用人工智能产品、服务时的安全指引。

其中，模型算法研发者这一部分主要强调在从需求分析到训练数据选用等环节，对数据安全、个人信息保护、知识产权方面的风险提前加以明确，在各环节做好测试和评估，生成测试报告，分析问题并提出改进方案。

对于人工智能服务提供者，则强调要在服务提供过程中及时将风险和注意事项等告知用户，评估风险、做好预案，遇到安全事故和漏洞及时报告等。

对于重点领域使用者，《治理框架》强调了在使用过程中的操作合规、定期审计和检查等措施。对于社会公众，主要强调审慎选择和了解人工智能产品，关注使用中的风险，同时也提到了要注意人工智能产品对于儿童和青少年的影响，防止沉迷和过度使用等。

六、总结

在TC260-003《生成式人工智能服务安全基本要求》发布数月后，新发布的《治理框架》较全面地总结了目前国内人工智能产品及服务可能遇到的安全风险、技术应对及综合治理措施，作为一份技术指南，值得人工智能产品研发者、服务提供者、使用者去仔细研读，以规避和有效应对人工智能领域的安全风险，促进行业健康发展。正如网安标委相关人员所述，《治理框架》1.0版的发布，“对推动社会各方积极参与、协同推进人工智能安全治理具有重要促进作用，为培育安全、可靠、公平、透明的人工智能技术研发和应用生态，促进人工智能的健康发展和规范应用，提供了基础性、框架性技术指南。同时，也有助于在全球范围推动人工智能安全治理国际合作，推动形成具有广泛共识的全球人工智能治理体系，确保人工智能技术造福于人类。” [2]

后续，我们还将继续关注人工智能领域的监管及行业发展动态，敬请期待。

[注]

[1] https://www.tc260.org.cn/front/postDetail.html?id=20240906174148，全国网络安全标准化技术委员会官方网站

[2] https://www.tc260.org.cn/front/postDetail.html?id=20240906174148，全国网络安全标准化技术委员会官方网站