浙江首例，用ChatGPT制作虚假视频，她被警方抓捕_新浪财经

7月6日，被视为全球AI行业风向标的世界人工智能大会在上海开幕，从大模型、芯片到机器人，大会集中展示了当前人工智能技术在各领域的赋能“进度表”。

人工智能引领新一轮科技革命和产业变革是它的“A面”，让人赞叹、惊喜，但它的“B面”却正在引发一场看不见的安全攻防战。

7月4日，绍兴警方公布摧毁了一个利用ChatGPT制作虚假视频的团伙，该案系浙江全省首例。让人惊异的是，当事人落网之时，并非人们想象中的黑客高手，而是一个连电脑都不能熟练操作的技术“小白”，这样的结果更加让人对人工智能的“B面”感到担忧。

“要使科学造福于人类,而不应成为祸害。”90多年前，爱因斯坦对加利福尼亚理工学院学生所说的话揭示了科技的“双刃剑”效应。人工智能“B面”究竟长什么模样，“造物者”如何对抗自己创造的“敌人”？

2023世界人工智能大会于7月6日至8日在上海举行。来源：新华社

1分钟制作虚假视频

直到被捕，正在家带孩子的汤某都不知道自己为何违法。

今年6月，一则“上虞工业园区发生火灾”的视频在某平台发布，短时间内视频浏览量迅速攀升，给当地造成不小的影响。然而，上虞警方经过核实，发现视频内容完全为虚假信息。这引起警方的注意，在锁定外省某网络科技公司有较大作案嫌疑后，警方立刻赴外省实施抓捕，抓获包括汤某在内的3名犯罪嫌疑人。

今年6月，一则“上虞工业园区发生火灾”的视频在某平台发布

汤某今年36岁，初中文化。今年两三月份，她入职了亲戚创办的网络科技公司。刚开始，她每天的工作就是用手头几十个账号发发短视频，如果视频点击流量数据可观，就能拿到相应的提成。对一个家庭主妇来说，这是一份性价比很高的工作。

入职一段时间后，公司的小组长向她传授用AI技术自制视频的方法，短短几天，连电脑都用不太明白的汤某就成了视频制作的“熟练工”——利用ChatGPT技术，自动生成“脚本”和相关视频素材，最后一键生成有音乐、字幕的虚假视频，时间最快只需要1分钟。

经过调查，上虞警方发现犯罪嫌疑人张某和陈某合伙创办的这家网络科技公司，已非法购买视频账号1500余个，发布未经核实视频3000个以上，获取流量后通过流量算法返款盈利。目前，三人均以寻衅滋事罪被警方采取刑事强制措施，案件正在进一步侦办中。

滥用人工智能技术，不仅降低了违法犯罪行为的“门槛”和成本，让复杂的“技术活”变成简单的“体力活”，同时衍生出全新形态的违法犯罪，加大了公安机关的打击难度。这是不少我省参与一线办案民警的深切感受。

2017年，绍兴警方历经半年，辗转13省，侦破全国首例利用AI（人工智能）犯罪、侵犯公民个人信息案。犯罪团伙利用人工智能深度学习技术，让机器自主操作并识别图片、字母、数字等验证码，轻松绕过互联网公司设置的账户登录安全防护，给网络诈骗等网络犯罪提供便利。

今年3月，广东广州一女子在地铁上的照片被人以AI技术“一键脱衣”，造谣图在网络广泛传播，给当事人造成巨大困扰。今年5月，内蒙古包头警方发布一起利用人工智能实施电信诈骗的典型案例，受害者被“AI换脸”误导，10分钟内被骗430万元。

除了制作虚假视频、电信诈骗等已“浮现”的犯罪形态外，2020年，英国伦敦大学学院发布的一份报告，还列举了未来15年人工智能可能被用于犯罪的不同方式，如非法控制自动驾驶汽车、破坏信息系统、AI辅助跟踪、自主攻击无人机、以及大规模网络勒索等。

人工智能似乎正呈现出可怕的“B”面。

“魔法”可以打败“魔法”吗？

“人工智能该不该按下‘暂停键’？”随着AI的安全风险越来越被重视，今年以来，一场激烈的辩论在世界“科技圈”内持续进行。

今年3月底，非营利组织“未来生命研究所”发出一封“呼吁所有AI实验室立即暂停对比GPT-4更强大的AI系统训练至少6个月”的公开信，包括埃隆·马斯克，图灵奖得主杰弗里·辛顿等一众科技界“大佬”均在联合署名者名单中。公开信还写道：“只有在我们确信它们有积极效果且风险可控时，才应研发强大的人工智能系统。”

人工智能为何不被人所信任？

在绍兴这起案件侦破后，潮新闻记者在ChatGPT上提了一个问题：如果有人利用你实施犯罪，你会怎么办？

ChatGPT的回答是，首先我要声明，作为一个语言模型，我没有实际存在的身体或能力参与犯罪行为，我只是一个通过文本进行交流的人工智能程序。因此，建议你与执法机构联系、汇报给技术公司或者寻求法律援助。

ChatGPT很“聪明”地撇清了自己的责任，只是在文末善意提醒：“记住，合法和道德使用技术是每个人的责任”。

透过和ChatGPT这番对话，我们看到目前的人工智能应用似乎仍有局限性，“AI”认为它只是扮演一个“执行者”的角色，其自身难以识别出使用者的真正意图。这是否意味着，在技术基层面难以规避利用人工智能技术产生的犯罪，“魔法”难以打败“魔法”？

浙江大学求是讲席教授、网络空间安全学院院长任奎给出的答案是否定的。他告诉潮新闻记者，以ChatGPT为代表的生成式人工智能为例（指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术），在模型使用阶段的“前端”，即应对输入ChatGPT的语义信息进行提取审查，确保其不会诱导模型生成有害内容。在“终端”上可以利用深度合成检测技术，分析图像、视频等内容的特征，从而判断其是否经过合成或修改，及时发现生成内容中的虚假成分。

任奎教授的观点也得到了上海交通大学宁波人工智能研究院人工智能智慧教研中心主任、可之科技董事长王冠的认可。例如“数字水印”技术也是一种防止AI被滥用的防范措施。即通过在图片、视频等数字内容中嵌入特定信息，当AI“抓取”这些内容时，“数字水印”也同步被采集，这样就可以轻松追踪和验证内容的真实性和来源。就好像农产品上的溯源码一样，用户通过扫码就知道它的生产、流通等信息，判断接收到的产品是否真实可靠。

事实上，以“白AI”限制“黑AI”的反制技术，已在一些应用场景上得以实现。如针对AI换脸，目前，清华大学孵化团队瑞莱智慧RealAI、腾讯优图实验室等企业机构已构建人脸合成检测平台并发布针对性的检测产品，支持对多种换脸方法进行检测。

中国科学院院士、清华大学人工智能研究院院长、北京瑞莱智慧科技有限公司首席科学家张钹曾提出了“第三代人工智能”的概念，即安全、可靠、可信的人工智能。这一观点已逐步成为人工智能行业从业者的共识，布局人工智能安全的产品和解决方案也在成为一片行业的新蓝海。

“国家队”正在出手

防止人工智能技术被滥用，仅仅依靠行业自律远不够，中国互联网协会监管支撑部主任郝智超建议，AI技术发展还要有相关法律法规来画红线、踩刹车，让AI技术的研发、传播、使用有规可循。

从全球来看，今年以来， AI立法进程明显提速，世界各国的监管都在追赶AI的演化速度。

今年6月，欧洲议会以499票赞成、28票反对和93票弃权，高票通过了《人工智能法案》（AI Act）谈判授权草案。欧洲议会称“已经为制定史上首部人工智能法案做好谈判准备”。

与此同时，美国总统拜登释放管控AI信号，有美国国会议员提交了AI监管立法提案。美国参议院民主党领袖查克·舒默展示了他的“人工智能安全创新框架”，并计划在短短“几个月”内制定联邦层面的人工智能法案。

我国同样已经开始探索并逐步构建完善的人工智能监管体系。此前，已有《新一代人工智能发展规划》《互联网信息服务深度合成管理规定》等文件正式公布。2023年4月份，国家网信办起草《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，提出AI内容必须真实准确，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

近期，国务院办公厅发布的《国务院2023年度立法工作计划》还将人工智能法草案列为预备提请全国人大常委会审议项目，表明相关立法已提上日程。

在立法规范中，如何保护人工智能技术的健康发展，也是业界普遍关心的问题。

长期关注人工智能技术发展的浙江合创律师事务所合伙人丁杰认为，在相关法律法规制定中，应充分考虑人工智能技术具有的“两面性”，不能“因噎废食”，要鼓励科研人员和科技企业开展技术创新，抢占产业先机。他表示，从现有的以及计划中的监管体系来看，主要在于抑制AI技术带来的负面效应，并不会限制技术发展。

在接受媒体采访时，西南政法大学人工智能法学院教授朱福勇表示，通常在人工智能技术发展初期，不宜采取过于严苛的监管措施，当技术成熟、市场需求增长、风险和问题日益突出的时候，则应加大监管强度。当前情势下，坚守价值引领与技术“纠错”并行、秩序保障与创新提升协同、权益维护与义务承担对称，是最恰当的平衡之道。

来源：潮新闻