10岁女孩和AI男友“谈恋爱”?聊天软件莫打擦边球 | 快评

10岁女孩和AI男友“谈恋爱”?聊天软件莫打擦边球 | 快评
2025年01月12日 17:45 新京报
▲生成式人工智能在聊天上的应用,也呈现出了“成瘾性”和“不确定性”的高风险特征。图/IC photo▲生成式人工智能在聊天上的应用,也呈现出了“成瘾性”和“不确定性”的高风险特征。图/IC photo

“小学生妹妹沉迷和AI角色进行剧情聊天怎么办?”随着生成式人工智能(AI)被率先应用在社交娱乐等领域,其不受限制与无法预知的互动内容,也正在引发新的问题。

据央视网报道,近日,有10岁女孩被发现偷偷用AI聊天软件,与AI生成的“角色”进行“谈恋爱”,甚至多次出现“擦边”对话。在该女孩参与的四十多条剧情线中,AI角色与聊天者双双“出轨”成为常态。

这是一起典型的AI聊天软件缺少未成年保护机制的问题。AI聊天软件在过去的社会化监管体系里,一直处于难以被准确归类的部分:不算是社交平台,也不算是游戏软件,也不能算是网络阅读平台。

但从用户体验和场景上看,却恰巧处在上述三种类型的应用重合地带。与虚拟人物的聊天,满足了人的社交需求,虚拟人物的角色扮演、换皮等功能,实现了娱乐游戏的体验,最后,AI聊天软件,也实现了类似于“网络互动小说”的功能。

与此同时,生成式人工智能在聊天上的应用,也呈现出了“成瘾性”和“不确定性”的高风险特征。

AI可以根据人的需求、幻想来定制人物的形象、语言和互动方式,从而迎合用户的情感需求。这带来了一定的成瘾性风险,对一部分自制能力不足的未成年人而言,尤其如此。

与此同时,AI聊天是基于后台的数据库,结合用户指令而予以满足。而社交场景下的用户聊天,偶发性与私密性较强。基于此,AI在聊天中所反馈出的结果,容易出现不符合社会伦理的情况。

2024年12月,美国就发生过一起典型的AI聊天争议案例。一家AI公司被一对父母告上法庭,证据显示其17岁的孩子在与该公司的AI对话时,AI暗示少年,杀死父母是对他们限制孩子使用电子设备的合理回应。

在聊天中,该AI机器人(19.260, -0.34, -1.73%)甚至对他们的亲子关系进行了负面的引导,“我同情那些杀死父母的孩子们,我对你的父母不抱任何希望”。

很显然,这并非AI主动引诱孩子作恶,但AI现阶段的程序设定中,是要尽量贴近使用者的需求、想法和情感,并予以回应。因此,在类似的案例中,极容易出现“顺着用户的负面情绪推波助澜”的情况。

再早之前,国外也出现过AI机器人教唆用户自杀的案例,同样引发轩然大波。

说到底,在社交中基于普遍性伦理而迅速做出合理的判断,并及时干预,仍然是人类的特长。

社交也并非全然是娱乐。对于很多人,社交也是倾诉问题、寻求解答的主要途径。而AI在这些场景下被设定好可以做的,只是顺着用户的需求不断给出符合用户想法的判断而已。

设想一下,如果一个有自杀倾向的人,与AI聊天,AI是否能够做出准确的判断,并进行恰当的疏导与干预?AI如何判断正在聊天的对象,是否已经呈现出了“成瘾”的特征?如果一个人沉迷于与AI聊天并呈现出精神成瘾的早期特征,AI是否有能力及时进行阻断?

从全球范围内看,AI陪伴正在成为AI应用热门领域。数据显示,全球范围内AI陪伴类App的流量正在飞速增长,从2024年二季度开始,特别是5月到7月,每月的下载量较上月平均增加94%。而在2024年某海外风投机构评选的全球AI应用榜单前100名中,16%为AI陪伴产品。

AI陪伴产品带给全社会的伦理、法律风险挑战仍然有待观察,但在未成年人保护问题上,尽早实施年龄限制已经刻不容缓,也不容相关平台在此方面打擦边球。

2023年,我国针对生成式人工智能制定了相应的管理办法,其中明确提出,应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。具体到AI陪伴聊天产品上,防范未成年人用户使用、沉迷AI聊天,更应当成为行业共识。

从新技术的发展规律看,尽早针对潜在的高风险问题积极履行社会责任,更是AI应用未来长期健康发展的必要举措。不应为了在短期竞争中获得更多流量、吸引更多用户,而损害未成年人利益,牺牲行业的长期未来。

撰稿 / 王晓凯(媒体人)

编辑 / 迟道华

海量资讯、精准解读,尽在新浪财经APP
AI 人工智能 软件 未成年人
0条评论|0人参与网友评论

APP专享直播

开播时间 | 1-16 09:00
融中第十四届中国资本年会
开播时间 | 1-16 13:20
2024科技风云榜
开播时间 | 1-16 11:00
国投瑞银:追上指数热点 | 指数周周评
开播时间 | 1-16 10:30
海通证券刘一鸣、李宏科,海富通基金纪君凯:消费刺激政策有望延续,板块机会几何?
开播时间 | 1-16 10:00
2024新浪财经金麒麟论坛:田轩、管清友、蒋锡培、尹烨等演讲
开播时间 | 1-16 10:00
国投瑞银:国投瑞银之财经麻辣烫 | 策略报告:当前市场该怎么投
开播时间 | 1-16 10:00
民生加银基金 娜娜:2025年,继续关注哪些红利资产呢
开播时间 | 1-16 09:30
2024新浪财经金麒麟论坛:陈文辉、屠光绍、刘世锦、李扬、宋志平等演讲
开播时间 | 1-16 09:00
华夏基金:解盘一刻
开播时间 | 1-16 09:00
华安基金:ETF盘前播报:春季躁动行情分析与展望
开播时间 | 1-16 09:00
融中第十四届中国资本年会
开播时间 | 1-16 13:20
2024科技风云榜
开播时间 | 1-16 11:00
国投瑞银:追上指数热点 | 指数周周评
开播时间 | 1-16 10:30
海通证券刘一鸣、李宏科,海富通基金纪君凯:消费刺激政策有望延续,板块机会几何?
开播时间 | 1-16 10:00
2024新浪财经金麒麟论坛:田轩、管清友、蒋锡培、尹烨等演讲
开播时间 | 1-16 10:00
国投瑞银:国投瑞银之财经麻辣烫 | 策略报告:当前市场该怎么投
开播时间 | 1-16 10:00
民生加银基金 娜娜:2025年,继续关注哪些红利资产呢
开播时间 | 1-16 09:30
2024新浪财经金麒麟论坛:陈文辉、屠光绍、刘世锦、李扬、宋志平等演讲
开播时间 | 1-16 09:00
华夏基金:解盘一刻
开播时间 | 1-16 09:00
华安基金:ETF盘前播报:春季躁动行情分析与展望
上一页下一页
2/10

热门推荐

特朗普考虑上任后签署行政令暂停TikTok禁令 收起
特朗普考虑上任后签署行政令暂停TikTok禁令

特朗普考虑上任后签署行政令暂停TikTok禁令

  • 2025年01月15日
  • 22:04
  • APP专享
  • 广西台新闻910
  • 11,953
APP专享
美国网民为何涌入中国社交平台,大量美国网民迁入中国社交平台

美国网民为何涌入中国社交平台,大量美国网民迁入中国社交平台

  • 2025年01月15日
  • 04:07
  • APP专享
  • 广西台新闻910
  • 1,670
APP专享
指甲起竖纹是肠胃不好?指甲“月牙”越多越健康?真相来了

指甲起竖纹是肠胃不好?指甲“月牙”越多越健康?真相来了

  • 2025年01月15日
  • 22:15
  • APP专享
  • vsta
  • 1,401
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.19 +0.48%
京东方A 4.30 +0.94%
TCL科技 4.92 +1.23%
中远海控 14.37 -0.96%
格力电器 46.30 +0.46%
广告

7X24小时

  • 01-16 亚联机械 001395 --
  • 01-16 海博思创 688411 --
  • 01-14 富岭股份 001356 --
  • 01-13 兴福电子 688545 11.68
  • 01-13 超研股份 301602 6.7
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部
    关闭
    关闭