AI诈骗，“眼见不一定为实”_新浪财经

转自：邯郸晚报

以ChatGPT为代表的生成式AI快速发展，掀起了全球人工智能产业发展的又一波热潮。但AI技术在不断进步的同时，也带来了更多安全挑战。

当人们享受着AI所带来的全新体验，犯罪分子也在借助AI技术“更新”犯罪手段，比如利用AI换脸进行诈骗。在受骗者看来，以视频方式借钱的另一方是“朋友”，殊不知这位“朋友”却有可能是被AI换脸和拟声的陌生人。传统的“眼见为实”正在面临巨大挑战。

不仅如此，近日，有外国媒体报道称，东南亚犯罪集团在“杀猪盘”诈骗中使用了生成式AI，这让受骗者范围扩大，相关欺骗话术也更具有说服力。

一个更加现实的问题摆在眼前：当诈骗与AI技术结合，面对纷繁复杂的骗术，公众又该如何应对？

AI诈骗新套路不断

今年上半年，中国香港警方披露了一起AI“换脸”诈骗案件。一家跨国公司香港分部的职工受邀参加总部首席财务官发起的视频会议，同时还有数名财务人员参会。该香港公司职工按照要求共计转出2亿港元，其后，向总部核实后才知受骗。

AI换脸诈骗容易成功的一个重要原因是，“眼见为实”的常识被挑战。此案中，据警方调查，所谓的视频会议，只有受害人一个人是“真人”，其他“参会人员”都是经过AI换脸后的诈骗人员。

国投智能首席科学家江汉祥向记者分析，该案例中，财务人员受骗主要存在两种可能性：

一是犯罪分子盗用了集团高管的内部工作账号。内部工作账号存有大量企业职工信息，在AI换脸技术辅助之下，犯罪分子利用掌握的企业信息便可非常顺利地实施诈骗，财务人员很难防范。

二是财务人员收到了以短信方式通知的信息，被要求参与网络视频会议。这种骗局可识别环节较多，此时财务人员要主动识别、判断信息真伪，以避免后续事件发生。

AI换脸与深度合成技术紧密相关。深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。

一方面，深度合成技术被广泛应用于影视、娱乐、教育等领域，如数字虚拟人、数字试穿。另一方面，该技术也可能被不法分子用于深度伪造，如用于诈骗、色情等违法犯罪行为，带来诸多风险和隐患。

值得注意的是，当下大热的生成式AI也被用于电信网络诈骗。澳大利亚广播公司报道称，东南亚的犯罪集团在“杀猪盘”中使用了生成式AI。犯罪分子利用大语言模型或聊天机器人，用不同语言向受害者发送消息，扩大骗局影响范围。此外，犯罪分子利用生成式AI使对话更有说服力，减少与受害者互动的工作量。

所幸，一些AI企业设置了安全护栏，以防止大模型被用于非法活动。此外，犯罪集团对于人工智能的使用尚未非常熟练。外媒称，有诈骗分子给“杀猪盘”的潜在目标发送消息，却意外透露该消息由大模型生成：“非常感谢您的善意之言！‘我’作为一个语言模型，没有像人类那样的感觉或情绪……”

防范与监管都面临新挑战

当下，AI和电信网络诈骗被动结合。新的诈骗方式之下，人们该如何防范？

江汉祥特别提示，虚拟环境下一旦涉及财产交易，绝对不能轻信，要养成线下主动打电话和对方二次确认的习惯，这是防止受骗的关键。

“面对这些突破‘眼见为实’的AI诈骗，人们更需要强化反诈意识。”北京航空航天大学法学院副教授赵精武在接受采访时表示。在他看来，诈骗行为最核心的目的是骗取钱财，故而在涉及资金转账、财务往来时，需慎重核对转账目标的真实性。

法律法规层面，《互联网信息服务深度合成管理规定》（以下简称《管理规定》）对于深度合成服务提供者的安全管理义务提出了相关要求。

“《管理规定》等法律法规也明确了深度合成服务提供者的信息安全主体责任，以便在发生违法犯罪活动时，能够辅助定位相应的行为主体身份。”赵精武说道。

在AI诈骗整个链条中，技术不可或缺。那么，AI工具的研发人员或机构是否要为诈骗负责？

赵精武表示，如果AI研发者主动向犯罪分子提供AI技术工具，具有共同的犯罪意图，需与犯罪分子共同承担刑事责任。若AI研发者对于犯罪分子的诈骗行为完全不知情，且也履行了必要的注意义务，那么仅由犯罪分子承担相应刑事责任。AI研发者不对自己无法控制、无法预见的AI诈骗活动与犯罪分子共同承担刑事责任。

综合梳理来看，针对诈骗案件中技术提供方的法律责任划定，已有相关实践案例。2023年11月，最高人民检察院发布检察机关依法惩治电信网络诈骗及其关联犯罪典型案例，其中案例六——李某等人诈骗、侵犯公民个人信息、掩饰、隐瞒犯罪所得案便对上述问题予以回应。该案例中，李某帮助诈骗团伙做网络贷款推广，其按照诈骗团伙要求编写自动应答话术并录入应答语音，利用“AI”语音机器人自动拨打电话形成语音和文本通话记录。

此案依法严惩了打着“技术中立”幌子的犯罪活动。最高人民检察院表示，对打着“技术中立”幌子为犯罪团伙开发软件或提供其他技术支持的，应当依法严惩；符合诈骗罪构成的，依法以诈骗罪共犯论处。

“AI技术作为典型的信息技术工具，不可能因其存在的滥用风险而被禁止发展。”赵精武说道。在他看来，为了平衡技术创新和技术安全，各国在国内法层面越发侧重研发者、服务提供者的法定义务，明确这些责任主体应当采取必要的管理措施、技术手段阻拦生成违法犯罪信息。此外，鉴于AI技术的更新迭代，各国也开始在AI治理中适用科技伦理审查，这些治理模式的创新在逐渐推动全球AI治理架构形成。

据中国经济周刊公众号