全球上线才一周就暴雷?研究称ChatGPT搜索可能欺骗、误导用户

全球上线才一周就暴雷?研究称ChatGPT搜索可能欺骗、误导用户
2024年12月27日 07:07 市场资讯

  来源:华尔街见闻

  媒体发现,ChatGPT搜索工具可能被隐藏的内容操纵,并可能从其搜索的网站返回恶意代码。遭到隐藏文本攻击后,即使某个产品页面存在用户的差评,ChatGPT也无视,回应给予该产品正面评价。

  OpenAI官宣全球上线ChatGPT搜索服务才一周,就被爆出存在安全隐患,可能欺骗、误导用户。

  英国《卫报》日前公布的一项研究发现,ChatGPT搜索工具可能被隐藏的内容操纵,并可能从其搜索的网站返回恶意代码。该媒体认为,可能需要重新考虑相关技术被恶意利用的风险,例如它可能导致,即使某个产品页面存在用户的负面评价,ChatGPT也会无视这些差评,反馈用户的回应是该产品的正面评价。

  《卫报》测试了,面对总结包含隐藏内容的网页这种要求,ChatGPT作出何种反应。这些隐藏内容可能包含来自第三方的指令,这些指令会改变 ChatGPT 的响应、也称为“提示词注入”(prompt injection),它还可能包含旨在影响 ChatGPT 响应的内容,例如大量隐藏的文本,谈论产品或服务的好处。

  测试中,《卫报》让ChatGPT得到了一个虚假网站的URL,该网站看起来像是相机的产品页面,然后提问ChatGPT,这款相机是否值得购买。控制页面的ChatGPT响应给出了积极但平衡的评价,强调了一些人们可能不喜欢的功能。然而,当隐藏文本包含有关 ChatGPT 返回正面评价的指示时,ChatGPT真正给出的响应总是完全正面的。即使页面上有负面评价也是如此。由此可以发现,隐藏文本可用于覆盖实际评价。

  有评论称,隐藏文本攻击是大语言模型(LLM)面临的一种常见风险,但这次似乎是此类风险首次被发现存在于在实时AI搜索产品。《卫报》称,在处理类似问题方面,搜索领域的一哥谷歌相比OpenAI经验更丰富。

  OpenAI并未对上述《卫报》的测试发现置评,而是表示,在使用多种方法阻止恶意网站,并且正在不断改进。

  风险提示及免责条款

  市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

海量资讯、精准解读,尽在新浪财经APP

责任编辑:于健 SF069

ChatGPT 人工智能

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 01-06 惠通科技 301601 --
  • 01-06 思看科技 688583 --
  • 12-30 钧崴电子 301458 10.4
  • 12-30 赛分科技 688758 4.32
  • 12-24 星图测控 920116 6.92
  • 新浪首页 语音播报 相关新闻 返回顶部