“小学生妹妹沉迷和AI角色进行剧情聊天怎么办?”随着生成式人工智能(AI)被率先应用在社交娱乐等领域,其不受限制与无法预知的互动内容,也正在引发新的问题。
据央视网报道,近日,有10岁女孩被发现偷偷用AI聊天软件,与AI生成的“角色”进行“谈恋爱”,甚至多次出现“擦边”对话。在该女孩参与的四十多条剧情线中,AI角色与聊天者双双“出轨”成为常态。
这是一起典型的AI聊天软件缺少未成年保护机制的问题。AI聊天软件在过去的社会化监管体系里,一直处于难以被准确归类的部分:不算是社交平台,也不算是游戏软件,也不能算是网络阅读平台。
但从用户体验和场景上看,却恰巧处在上述三种类型的应用重合地带。与虚拟人物的聊天,满足了人的社交需求,虚拟人物的角色扮演、换皮等功能,实现了娱乐游戏的体验,最后,AI聊天软件,也实现了类似于“网络互动小说”的功能。
与此同时,生成式人工智能在聊天上的应用,也呈现出了“成瘾性”和“不确定性”的高风险特征。
AI可以根据人的需求、幻想来定制人物的形象、语言和互动方式,从而迎合用户的情感需求。这带来了一定的成瘾性风险,对一部分自制能力不足的未成年人而言,尤其如此。
与此同时,AI聊天是基于后台的数据库,结合用户指令而予以满足。而社交场景下的用户聊天,偶发性与私密性较强。基于此,AI在聊天中所反馈出的结果,容易出现不符合社会伦理的情况。
2024年12月,美国就发生过一起典型的AI聊天争议案例。一家AI公司被一对父母告上法庭,证据显示其17岁的孩子在与该公司的AI对话时,AI暗示少年,杀死父母是对他们限制孩子使用电子设备的合理回应。
在聊天中,该AI机器人(19.260, -0.34, -1.73%)甚至对他们的亲子关系进行了负面的引导,“我同情那些杀死父母的孩子们,我对你的父母不抱任何希望”。
很显然,这并非AI主动引诱孩子作恶,但AI现阶段的程序设定中,是要尽量贴近使用者的需求、想法和情感,并予以回应。因此,在类似的案例中,极容易出现“顺着用户的负面情绪推波助澜”的情况。
再早之前,国外也出现过AI机器人教唆用户自杀的案例,同样引发轩然大波。
说到底,在社交中基于普遍性伦理而迅速做出合理的判断,并及时干预,仍然是人类的特长。
社交也并非全然是娱乐。对于很多人,社交也是倾诉问题、寻求解答的主要途径。而AI在这些场景下被设定好可以做的,只是顺着用户的需求不断给出符合用户想法的判断而已。
设想一下,如果一个有自杀倾向的人,与AI聊天,AI是否能够做出准确的判断,并进行恰当的疏导与干预?AI如何判断正在聊天的对象,是否已经呈现出了“成瘾”的特征?如果一个人沉迷于与AI聊天并呈现出精神成瘾的早期特征,AI是否有能力及时进行阻断?
从全球范围内看,AI陪伴正在成为AI应用热门领域。数据显示,全球范围内AI陪伴类App的流量正在飞速增长,从2024年二季度开始,特别是5月到7月,每月的下载量较上月平均增加94%。而在2024年某海外风投机构评选的全球AI应用榜单前100名中,16%为AI陪伴产品。
AI陪伴产品带给全社会的伦理、法律风险挑战仍然有待观察,但在未成年人保护问题上,尽早实施年龄限制已经刻不容缓,也不容相关平台在此方面打擦边球。
2023年,我国针对生成式人工智能制定了相应的管理办法,其中明确提出,应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。具体到AI陪伴聊天产品上,防范未成年人用户使用、沉迷AI聊天,更应当成为行业共识。
从新技术的发展规律看,尽早针对潜在的高风险问题积极履行社会责任,更是AI应用未来长期健康发展的必要举措。不应为了在短期竞争中获得更多流量、吸引更多用户,而损害未成年人利益,牺牲行业的长期未来。
撰稿 / 王晓凯(媒体人)
编辑 / 迟道华
APP专享直播
热门推荐
特朗普考虑上任后签署行政令暂停TikTok禁令 收起特朗普考虑上任后签署行政令暂停TikTok禁令
- 2025年01月15日
- 22:04
- APP专享
- 广西台新闻910
- 11,953
美国网民为何涌入中国社交平台,大量美国网民迁入中国社交平台
- 2025年01月15日
- 04:07
- APP专享
- 广西台新闻910
- 1,670
指甲起竖纹是肠胃不好?指甲“月牙”越多越健康?真相来了
- 2025年01月15日
- 22:15
- APP专享
- vsta
- 1,401
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
史月波高控盘今天 05:49:22
春节期间的逆回购起来了,资金短暂性紧缺【更多独家重磅股市观点请点击】 -
史月波高控盘今天 05:49:06
现在市场主力也是摆出放假的姿态,在经济数据和特没谱上台之前,不会有太大的动作 -
股道龙门今天 05:47:20
据财联社盯盘数据显示,沪深两市成交额突破1万亿,较昨日此时放量近600亿。预计全天成交金额超1.3万亿。 -
股道龙门今天 05:47:14
指数冲高回落,三大指数午后全部翻绿。早盘,创业板指、深成指一度涨近2%,沪指冲高一度涨超1%。机器人(sz300024)、半导体芯片、白酒等方向跌幅居前,沪深京三市下跌个股近3000只。 -
冯矿伟今天 05:44:20
三大指数皆翻红 -
趋势领涨今天 05:42:43
昨晚发布了规范中介机构为公司公开发行股票提供服务的规定,目的就是要从源头保护投资者的权益,目前证监会各项制度都在完善中,在这个时候,证监会把握住了IPO的节奏,对待上市公司从严审核,减少欺诈发行的概率,这是全心全意保护投资者的举措。但有些专家想的就不一样,这个时候想到的是加速IPO,放开做空机制,去年A股发行上市100家,相比以前是大幅减少的,重点是相对正常股市,这个数量依然不少,毕竟退市太少,所以,这种要求加速IPO,放开做空机制的人,一般是没有鼻子两边的人! -
徐小明今天 05:41:40
【盘中直播】看这样,,明天也不一定能穿轴啊 -
东方红陈晨今天 05:37:47
一个消息就刺激了光模块全飞了,CPO是这次消息的引爆点,这消息2天我就知道,但是市场没有啥反应,老黄一来,就都当做大利好去炒作了,这是为什么呢,主要原因我想还是节奏和技术走势很重要,AI算力轮动爆发了,三条线,一条线一天,以后就这么轮动搞,很开心。 -
冯矿伟今天 05:34:35
盘口能量守恒了 -
徐小明今天 05:32:38
【盘中直播】三个多月以来的市场低点抄到,那才重要,这是我们的主要目的。