大模型让全球“黑客”狂欢！AI安全向何处去？|AI_新浪财经

转自：中国科学报

对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。

大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信安全高级副总裁陈奋提出，自ChatGPT发布以来，大模型驱动的人工智能技术已让全球“黑客”开始狂欢，网络攻击和网络犯罪升级。

大模型技术让“黑客”狂欢

陈奋的话不是危言耸听。

他介绍说，过去“黑客”制造一个攻击性病毒需要数月时间，现在通过AI工具几分钟就能生成，大大提高了攻击效率；而且大模型对编程语言的理解非常强，攻击者可以利用大模型迅速发现软件漏洞。同时，还有一波急功近利的“黑客”，利用AI算法批量深度伪造人脸视频，涌现出一波网络诈骗案例。同时还有攻击者已经盯上了AI算力基础设施和大模型平台——这些高价值的计算集群，有着巨大的诱惑力。

据不完全统计，去年短短一年时间，针对大模型的攻击手段已经涌现出10多种不同的类型。

亚信安全北极狐高级攻防实验室，在去年发现了一种“海绵样本攻击”。这种攻击手段并不复杂：向大模型发出一个特殊样本——替换掉正常的提示词，代之以复杂的语言内容，然后提交请求。如此一来，大语言模型需要60秒以上才能响应并返回回答。

对此，陈奋在采访中表示：“未来很多核心应用可能都是大模型驱动的AI原生应用，（在这样的攻击下）应用基本上等于瘫痪了。这还只是一个比较基础的攻击事例，未来针对大模型的密集攻击很快会到来。”

在C3安全大会上，中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤谈到了类似担忧。

“人工智能越来越强，这会带来很大的风险。”他提到，除了信息安全层面，大模型的不可解释性、黑箱问题、参数数据风险等也指向AI本身存在安全风险；此外，AI的可控性、可信性、边界等问题也迫使人们不得不特别审视AI的安全风险。

张亚勤表示，暂且搁置AI以假乱真的问题，它更大的风险在于对物理世界带来的影响。“想象一下，（未来）一个大模型可能会控制成千上万的车辆、无人机、机器人以及物联网设备——它们甚至有的直连于国家金融等各类核心体系，我们能否控制它？如果被坏人所利用呢？届时，安全将成最重要的议题。”

安全产业面临革新

有鉴于以大模型为代表的AI技术发展对信息安全的深刻影响，亚信安全的技术专家坚定认为，大模型技术必然带来网络安全产业“技术范式的革新”。

这体现在多个方面，涉及网络攻防角色、安全产品设计、保护对象的变化等。

陈奋认为，从现在起，网络安全攻防将从之前人与人之间的对抗，升级到AI和AI之间的对抗。“只有AI驱动的网络安全防护检测技术才能识别发轫于AI的黑客攻击技术。”他说，最典型的案例就是深度伪造的鉴别，“人眼肯定不如AI”。

类似地，未来网络安全产品的设计也需要大模型助一臂之力。陈奋提到，从风险检测到产品体验、从风控到安全运营，大模型技术将推动网络安全产品的全面革新，“如果没有大模型的加持，可能就无法站在最有竞争力的舞台上”。

保护对象也将发生变化。正如此前提到的，如果一个企业或实体的核心应用是通过大模型驱动的，那么未来企业资产维护就从传统的资产演进为保护企业的AI中心。

类似的还有智能家居安全。随着智能网联汽车、智能家居等的普及，家庭信息安全也将从保护个别终端设备演进为保护家庭的“AI中心”。

“全球都在行动”

在大模型技术发展给网络安全行业带来“范式革新”的背景下，没有人可以“躺平”。2023年，谷歌就开发并推出了网络安全专有大模型“Sec-PaLM”，并将其全线接入谷歌云；今年4月，微软公司宣告Security Copilot（安保副驾驶）正式商用，通过将大语言模型和安全专用模型相结合，为企业提供信息安全助手。

安全行业巨头更加不会坐失良机。作为行业“龙头”，美国网络安全公司Palo Alto、CrowdStrike等已经在各自的安全运营平台集成了大模型的技术能力，并持续深化智能安全产品开发。乘着大模型技术“东风”，Palo Alto已成为全球首家市值突破千亿美元的安全公司；CrowdStrike也不逊色，市值时隔不到一年增长超一倍，正逼近千亿美元。

不仅如此，在全球最大的网络安全盛会“RSA Conference”（简写作RSAC）最具影响力和人气的活动——创新沙盒（Innovation Sandbox）大赛上，连续两届（RSAC 2023、RSAC 2024）冠军都花落围绕“AI安全”做文章的初创企业。

2023年，主打AI攻防并“提供对机器学习资产健康与安全可见性”的AI安全初创公司HiddenLayer夺魁，创造了创新沙盒大赛将桂冠首次颁给AI安全的历史；RSAC 2024创新沙盒大赛的冠军得主是Reality Defender，该创业公司主要提供检测和对抗生成式人工智能相关虚假信息（深度伪造的图文及音视频等）和认知操控威胁的解决方案。

AI安全连抢风头，业内专家认为，这预示着网络安全正在迎来一场重大范式转移，“AI For Security和Security For AI”正成为网络安全的主战场。

这一风潮也迅速吹进国内。亚信安全调查显示，中国80%以上的网络安全公司都在将大模型技术集成到网络安全产品中，30%的公司已经开始做大模型安全的研究，并出现了一波AI安全创业的浪潮。

亚信安全也将“AI For Security和Security For AI”作为智能新时代的战略布局，并积极拥抱大模型。在C3 安全大会上，亚信安全发布网络安全垂域大模型“信立方”，通过将安全技术与AI技术结合，实现网安领域的攻击面智能检测、恶意代码及威胁情报智能分析、告警预判等功能应用。此外，亚信安全还大量招募AI人才、与业内优秀的大模型公司如“智谱AI”等合作，以引进、消化、吸收及转化一流的AI能力。

AI风险治理不是单纯科学或政策问题

对于AI技术发展引发的安全风险问题，张亚勤表示他近两年来“个人花了很多时间思考并做一些事情”，包括专门成立一个20人左右的“人工智能发展与治理专题研讨会”——参与研讨的包括三位“图灵奖”获得者和两位深度学习领域的开创者。他们每过一段时间就坐在一起研讨相关主题：AI的发展趋势和风险治理。

“我们认为，AI技术发展带来的安全和风险治理不仅是政策制定的问题，也不单纯是科学问题、技术问题，需要政策制定者和科研工作者一起合作，将AI发展和治理融合起来看待，才能有健康的发展。”张亚勤说。

在充分研讨的基础上，张亚勤提出了5个长期建议。

一是要对AI大模型分级管理，如万亿乃至更多参数的前沿大模型的风险相对较高，应加强监管；对应用在智能驾驶、生物系统等不同领域的大模型也要分级监管。

二是AI生成内容要有清晰标识，包括AI生成的数字人、图文、音视频等，要像“广告”标识一样醒目标注，以方便甄别。

三是要设立物理映射机制或系统。无人驾驶汽车、智能机器人等智能体，应明确其作为“从属物”映射到具体管理人或管理机构等法定实体，相关智能体出现问题，应追溯其从属的主体责任。他提出，现在就应着手制定相关法规。

四是要加大对大模型风险治理研究的投入。他建议政府或企业在开发前沿大模型过程中要拿出10%~30%的投入投放在安全风险相关的技术和产品开发方面。张亚勤说：“开始30%比较难，可以先拿出10%做这件事。”

五是要制定人工智能应用的红线。他提出，AI技术本身可能没有边界，但在使用大模型时，需要制定一些边界。例如应规范智能数字人不能无限制地复制，大模型技术用于金融、军事等核心系统设施时要设立清晰红线等。

“这不是一家企业的事、一个国家的事，而是需要全球政府和企业精诚合作，面对风险、解决问题。”张亚勤最后说道。