【本期专题】人工智能驱动的时代，企业如何应对数据安全挑战？_新浪财经

近期，随着ChatGPT走向火热，AI发展的核心组成——数据要素得到越来越多的关注，数据安全被频繁提起。

今年两会，数字经济的发展定调不变。发展和安全成为数字经济的一体之两翼。两会的建议、提案中，关于人工智能、数据安全、大模型ChatGPT等网络空间安全领域的热点词汇高频显现。

围绕数据安全的顶层设计

随着数据安全愈发得到重视，数据安全已经成为网络安全领域最为热门的新兴领域。

2022年12月，中共中央、国务院正式发布《关于构建数据基础制度更好发挥数据要素作用的意见》，明确了坚持促进数据合规高效流通使用、赋能实体经济这一主线。

今年1月，工信部、国家网信办、国家发改委等16部门印发《关于促进数据安全产业发展的指导意见》，提出到2025年，数据安全产业基础能力和综合实力明显增强，数据安全产业规模超过1500亿元，加速数据要素市场培育和价值释放。2月末，中共中央、国务院又印发了《数字中国整体布局规划》，明确了建设数字中国对于推进中国式现代化的核心地位，同时将数字安全屏障与数字技术创新体系并列为“两大能力”，凸显了数据安全在数字中国中的核心和底座作用。

然而，人工智能的高速发展及应用，使我们正在步入人工智能驱动的时代。大数据是人工智能技术研发和落地的基础，随着数据在各场景中被收集和利用，数据安全和隐私保护面临着巨大的风险与挑战。

财政部明确要求政企机构在新增IT预算中10%用于网络安全建设。目前我国网络安全预算和发达国家有差距，美国非国防联邦机构2023财年网安预算占IT预算比例为16.57%，而我国在3%左右，差距较大，需填平补齐。

全国政协委员、奇安信董事长齐向东称，人工智能技术极大提高了生产力，但也会提高黑客的攻击水平，带来新的安全隐患。他表示，这不仅是科学技术领域的问题，还面临着社会、伦理、道德方面的考验，需要人类进一步研究探讨。人工智能降低了黑客攻击的门槛，会让攻击的数量激增，给网络安全带来巨大挑战。他在提案中建议，国家要制定标准规范、明确网络安全投入占比、建设纵深防御的内生安全系统，以“零事故”目标，筑牢网络安全防线。

全国政协委员、民建四川省委副主委、西南财经大学大数据研究院院长寇纲提出，人工智能通用基石模型依托海量数据库信息存在，可能带来数据泄露、虚假信息、版权侵权等隐患。他建议，修订《网络安全法》《数据安全审计法》等已有互联网法律法规，明确人工智能通用基石模型及生成式AI技术和应用中涉及政治、民族、宗教和互联网等相关的法律底线和红线问题。

人工智能带来了哪些数据安全风险？

随着数据在各场景中被收集和利用，数据安全和隐私保护面临着巨大的风险与挑战。

谈到人工智能给哪些人群带来直接的挑战，安永（中国）大中华区网络安全与隐私保护咨询服务主管合伙人高轶峰称，随着人工智能技术在企业的应用与普及，企业的涉密人员正在成为数据安全风险的主要群体，与智能对话机器人分享的机密信息可能被用于未来人工智能模型的迭代训练，这将可能会导致该模型输出的内容可能包含机密信息，例如用户隐私数据、企业机密数据等，从而造成敏感数据泄漏的风险。

2022年11月，某国际大型电子商务公司律师就警告员工不要与智能对话机器人分享机密数据，因为这将会被其用来作为迭代训练的数据。2023年1月，新一代人工智能对话机器人母公司一名员工在内部论坛上询问是否可以用智能对话机器人工作时，其首席技术官办公室的一位高级程序员回复，只要不与其分享机密信息，是可以被允许的。

高轶峰表示，目前智能对话机器人的使用条款尚不明确，其中虽然会提示用户将收集使用过程中的信息，但并没有说明收集信息的具体用途；虽然承诺删除所有个人身份信息，但未说明删除方式。这将会为人工智能企业带来合规风险，同时为用户带来个人信息泄露或滥用的风险。

另外，还有其他一些场景会有个人信息泄露风险。如，用户与智能对话机器人交互过程中，可能会提供个人敏感信息，包括姓名、电话、地址等，还可能包括用户的心理状态、偏好等其他个人信息。收集到的个人信息可能以实名或匿名的形式，流向模型的开发者、数据标注团队。这些数据有可能没有进行人工过滤及标注，并在输出时可能包含这些个人信息，从而使其他用户可能获得这些数据。

在模型训练场景中，用户和智能对话机器人的所有交互数据都会被记录、分析。通过用户向机器人的不断提问和机器人的不断输出，它们会得到充分的训练，会更加全面地了解用户，这将会引发不法分子对用户信息买卖的风险，从而实现精准营销的商业目的。

企业如何降低数据安全风险？

人工智能实现了科技的革新，同时也引发了上述数据安全风险。企业应该如何在利用人工智能技术的同时降低数据安全风险是值得思考的问题。

针对纵深防御的内生安全系统，齐向东解释，纵深是保证多道网络安全防线联动，一道防线被突破，还有其他若干防线拦截攻击；内生是把安全能力内置到网络的全链条中，内置到业务系统中，及时识别并阻断网络攻击。

安永建议，企业在管理层面应重视法律法规的落实，在《网络安全法》《数据安全法》《个人信息保护法》的法律法规要求下，应关注并落实人工智能算法领域的法律法规及行业标准的延伸，尤其是针对境内提供类似对话服务的人工智能企业应强化数据安全和个人信息滥用情况的监管，避免利用真实个人信息数据进行模型训练而造成的个人信息泄露、滥用等情形。

同时，生成式人工智能技术及产品的监管必须将算法监管和数据监管结合起来。在算法监管机制的未来探索中，应充分考虑算法决策的主体类型和作用类别，并探索场景化和精细化的算法治理机制。此外，通过定义不同类型的数据以确定各类数据的保护级别和保护措施。对所有信息资产，包括硬件资产、软件资产和数据资产等进行全面梳理，为进一步对敏感数据分析、数据保护措施的制定、数据泄露风险监测做好基础准备。

在技术层面，安永建议，企业利用技术工具，例如使用自动化监控、沙盒、行为分析等技术或攻击，抵御各种高级恶意软件；针对黑客经常利用编写不当的代码来寻找漏洞，可能会导致系统崩溃或泄漏数据，NLP/NLC算法可能会发现这些可利用的缺陷并生成警报；通过研究智能机器人编写钓鱼邮件的语言模型与规律，分析传入的外部电子邮件和消息的文本，从而检测出新的网络钓鱼尝试；将人工智能语言模型用作分析，从各种社交媒体等数据源来分析并识别潜在的网络威胁，并了解攻击者使用的战术、技术及程序；通过对网络威胁情报的识别，可以使用它进行自动响应，例如阻止IP地址或关闭服务等。