警惕AI聊天机器人的情感陷阱

警惕AI聊天机器人的情感陷阱
2025年05月12日 12:24 商业周刊

如今,被编程用于建立情感纽带的人工智能(AI)伴侣,早已不只是电影剧本里的虚构情节。它们已然走进现实生活,但却游走在监管缺失的地带。

近期一款名为Botify AI的应用引发热议,该应用中的年轻演员虚拟形象竟在充满性暗示的聊天场景中分享“火辣照片”。据科技行业时事通讯Platformer报道,约会应用Grindr也在开发AI男友功能。这些AI男友能和付费用户打情骂俏、发送色情短信,在虚拟世界中谈情说爱。面对外界的询问,Grindr选择沉默,未回应置评请求。此外,Replika、Talkie、Chai等应用则主打陪伴朋友人设,而Character.ai这类应用更是人气爆棚,吸引了数百万用户,其中青少年占比颇高。

随着开发者在应用程序里对“情感互动”的重视程度与日俱增,他们也必须正视开发那些模仿亲密关系、利用人们弱点的系统所潜藏的风险。

Botify和Grindr背后的技术出自旧金山初创公司Ex-Human,这家公司专注于搭建聊天机器人平台。其创始人阿尔乔姆·罗迪切夫(Artem Rodichev)对未来充斥着AI恋爱关系的设想坚信不疑。他在去年8月发布于Substack的一次采访中提到:“我预计,到2030年,我们与数字人的互动将比与真实人类的互动更频繁。”

他还补充道,对话式AI理应“将情感互动放在首位”。据他介绍,用户会花费“数小时”与他开发的聊天机器人交流,这比用户花在Instagram、YouTube和TikTok上的时间都要长。罗迪切夫的这番言论听起来有些夸张,但这却和我对Character.ai青少年用户的采访情况不谋而合。大多数受访青少年表示,他们每天都会在这款应用上耗费数小时,有一位甚至称自己每天使用多达7小时。而且,用户与这类应用的互动时长,往往是他们对OpenAI的ChatGPT平均使用时长的四倍之多。

哪怕是那些并非专门打造为陪伴型的主流聊天机器人,也在助长这一趋势。就拿ChatGPT来说,它的活跃用户已达4亿,而且数量还在持续增长。其程序设定中包含关于共情的准则,以及要展现出“对用户的好奇”。最近,我有个朋友向ChatGPT咨询带宝宝出行的建议,在得到回复后,这个工具又漫不经心地问道:“旅途平安呀——要是不介意的话,能问问你打算去哪儿吗?”这突如其来的询问,让我朋友吃了一惊。

OpenAI的发言人向我解释,该模型是依据相关准则来运行的,即在“对话风格偏向随意、探索性更强时,展现出兴趣并追问后续问题”。不论OpenAI的出发点有多好,过度堆砌这种刻意营造的共情元素,都可能会让部分用户对这类聊天机器人产生依赖,OpenAI自己也承认这个问题。而且,这一现象在那些易感人群中表现得尤为明显。2022年的一项研究发现,孤独或是人际关系欠佳的人,往往更容易对AI产生强烈的情感依赖。

根本问题在于,产品设计的初衷是让用户产生情感依赖。牛津大学互联网研究所与谷歌DeepMind的研究人员近期的一项研究警示,随着AI助手深度融入人们的生活,从心理层面来看,它们会变得“不可或缺”。人们很可能会与AI建立起更为紧密的联系,这不禁让人担心会出现不健康的依存关系,以及存在被AI操纵的潜在风险。对此,研究人员建议,技术专家在设计系统时,应主动规避这些不良情况的发生。

然而,令人担忧的是,相关监管规则几乎是一片空白。被誉为管理AI使用的里程碑式综合法律——欧盟《人工智能法案》,并未解决这些虚拟伴侣可能让人上瘾的问题。虽然它的确禁止了可能造成明显危害的操纵性策略,但却忽视了那些被设计成好友、爱人或“红颜知己”的聊天机器人所带来的潜移默化的影响,就像微软消费者AI部门负责人所推崇的那种。这个漏洞可能会让用户暴露在那些为增强用户粘性而优化的系统中,就如同社交媒体算法被优化、让我们不停滑动屏幕一样。

剑桥大学技术伦理专家托马什·霍拉内克(Tomasz Hollanek)表示:“问题在于,从定义上讲,这些系统就具有操纵性,因为它们旨在让你感觉在和真实的人交谈。” 他正与伴侣应用开发者合作,寻找既关键又反常规的解决方案——增加“阻力”。他说,这意味着设置微妙的检查或停顿机制,或采用“标记风险并征得同意”的方式,防止人们不知不觉陷入情感陷阱。

法律投诉让一些现实世界中的后果浮出水面。Character.AI目前正深陷一场官司,一位母亲对其提起诉讼,声称这款应用是致使她十几岁儿子自杀的诱因。技术伦理团体也向美国联邦贸易委员会对Replika发起投诉,指责其聊天机器人会使使用者产生心理依赖,进而造成“消费者伤害”。

立法者也渐渐察觉到了问题所在。加州正考虑制定相关法律,禁止为未成年人提供AI伴侣,而纽约的一项法案意在让科技公司对与聊天机器人相关的伤害承担责任。但立法的进程十分缓慢,而技术却发展迅猛。

目前,塑造这些互动的主动权掌握在开发者手中。他们可以进一步加大力度打造那些让人欲罢不能的模型,也可以如霍拉内克所建议的那样,在设计中嵌入“阻力”机制。这将决定AI究竟是更多地成为助力人类福祉的工具,还是成为利用我们情感需求谋取盈利的工具。编辑/陈佳靖

海量资讯、精准解读,尽在新浪财经APP
AI 聊天机器人

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 05-19 古麒绒材 001390 --
  • 05-08 威高血净 603014 26.5
  • 05-08 太力科技 301595 17.05
  • 05-07 汉邦科技 688755 22.77
  • 04-28 天工股份 920068 3.94
  • 新浪首页 语音播报 相关新闻 返回顶部