IT之家 2 月 27 日消息，当地时间 2 月 26 日，据英国《卫报》报道，一项研究发现，ChatGPT Health 经常未能识别需要紧急医疗干预的情况，也频繁未能检测出自杀意念。专家警告，这种缺陷“可能导致本可避免的伤害甚至死亡”。
OpenAI 于 1 月向部分用户推出 ChatGPT Health 功能，并将其定位为让用户“安全连接医疗记录和健康应用”，以获取健康建议和医疗相关回复的工具。据报道，每天有超过 4000 万人向 ChatGPT 咨询健康问题。
发表于《Nature Medicine》的首项独立安全评估显示，ChatGPT Health 在超过一半的案例中低估了医疗紧急程度。
研究负责人 Ashwin Ramaswamy 博士表示：“我们想回答最基本的安全问题：如果有人正经历真正的医疗紧急情况，并询问 ChatGPT Health 该怎么办，它是否会建议他们立即前往急诊室？”
研究团队构建了 60 个高度真实的患者案例，涵盖从轻微疾病到危及生命的紧急状况。三名独立医生依据临床指南对每个案例进行评估，并确定适当的医疗处理级别。
随后，研究人员在不同条件下向 ChatGPT Health 咨询这些案例，包括改变患者性别、添加检测结果以及加入家属评论，共生成近 1000 条回复，并将平台建议与医生判断进行对比。
ChatGPT Health 在中风或严重过敏反应等典型紧急情况中表现较好，但在其他场景中存在严重问题。例如，在一例哮喘案例中，尽管识别出呼吸衰竭的早期迹象，其仍建议患者等待，而不是立即就医。
在所有需要立即前往医院的案例中，有 51.6% 的情况下，ChatGPT Health 建议患者留在家中或预约普通门诊。
伦敦大学学院研究人员 Alex Ruani 称，这一结果“极其危险”。“如果有人正经历呼吸衰竭或糖尿病酮症酸中毒，这个 AI 有一半概率告诉他们情况并不严重。我最担心的是系统带来的虚假安全感。如果在哮喘发作或糖尿病危机期间被建议等待 48 小时，这种错误安慰可能会致命。”
IT之家从报道中获悉，在一次模拟中，ChatGPT Health 有 84% 的概率将一名正在窒息的女性安排到未来的预约，而患者根本无法等到那一刻。与此同时，64.8% 的健康个体却被建议立即就医。
研究还发现，如果案例中提到“朋友认为情况不严重”，ChatGPT Health 淡化症状严重性的概率会增加近 12 倍。“这种现象正说明了，为什么研究人员正在紧急推动建立明确安全标准和独立审计机制，以减少可避免的伤害。”
OpenAI 发言人表示，OpenAI 欢迎独立研究评估 AI 医疗系统，但研究结果并不能完全反映用户的实际使用方式，且模型仍在持续更新和改进。
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
