微软：AI 聊天机器人越聊越“笨”，主流大模型在多轮对话中成功率降至 65%

IT之家 2 月 20 日消息，当用户与 AI 聊天机器人进行长对话时，可能会感觉它们变得越来越“笨”，而这种感觉如今有了科学依据。

据 Windows Central 今日报道，微软研究院与赛富时（Salesforce）联合发表的一项研究证实，即使是目前最先进的大语言模型，在多轮对话中的可靠性也会急剧下降。

研究人员对包括 GPT-4.1、Gemini 2.5 Pro、Claude 3.7 Sonnet、o3、DeepSeek R1 和 Llama 4 在内的 15 款顶尖模型进行了超过 20 万次模拟对话分析，揭示出一个被称为“迷失会话”的系统性缺陷。

数据显示，这些模型在单次提示任务中的成功率可达 90%，但当同样的任务被拆解成多轮自然对话后，成功率骤降至约 65%。

研究指出，模型的“智力”本身并未显著下降 —— 其核心能力仅降低约 15%—— 但“不可靠性”却飙升 112%。也就是说，AI 大模型仍然具备解决问题的能力，但在多轮对话中变得高度不稳定，难以持续跟踪上下文。

报告指出，当前大多数模型主要在“单轮”基准测试下进行评估，即一次性接收全部指令的理想实验环境。但现实中的人类交流通常是渐进式的，信息在多轮互动中逐步补充。研究发现，一旦任务被“拆分”到多个回合中，即便是最先进的模型，也容易出现系统性失误。

研究人员进一步分析了造成性能下降的行为机制。

令人意外的是，即使是配备了额外“思考词元”（thinking tokens）的新一代推理模型，如 OpenAI  o3 和 DeepSeek R1，也未能显著改善在多轮对话中的表现。研究还发现，将模型温度参数设置为 0—— 这一常用于确保一致性的技巧 —— 对此类对话衰减几乎没有防护作用。

这一发现对当前 AI 行业的评估方式提出了质疑。研究人员指出，现有的基准测试主要基于理想的单轮场景，忽略了模型在真实世界中的行为。对于依赖 AI 构建复杂对话流程或智能体的开发者而言，这一结论意味着严峻挑战。

目前最有效的应对方式反而是减少多轮往返交流，将所有必要数据、约束条件和指令一次性在单个完整提示中提供，以提高输出一致性。