OpenAI 今日公布了其最新研究，试图用 CoT（思维链）监控的方式监控推理模型的“想法”，从而阻止 AI 大模型胡说八道、隐藏真实意图等行为，同时这也是监督超级模型的有效工具之一。
IT之家注：AI 偶尔会胡说八道，我们一般称其为 AI 幻觉。除此之外，AI 还会偷懒或故意耍坏，例如在问题太难时欺骗用户或干脆放弃。
OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象，并以较弱的 GPT-4o 模型作为监控器。测试环境为编码任务，要求 AI 在代码库中实现功能以通过单元测试。
结果显示，CoT 监控器在检测系统性“奖励黑客”行为时表现卓越，召回率高达 95%，远超仅监控行为的 60%。
新浪科技公众号
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
