评估推理模型处理带有预设的查询

数百万用户依赖AI模型获取信息，但用户查询中常包含事实错误的假设。早期研究已经指出，大语言模型（LLM）往往无法质疑这些错误假设，反而可能强化用户的错误观点。然而，随着模型推理能力的最新进展，来自印度科学研究所（Indian Institute of Science）的研究团队Rose Sathyanathan、Kinshuk Vasisht和Danish Pruthi重新评估了大型推理模型（LRM）处理预设查询的能力。他们构建了一个涵盖健康、科学和常识领域的查询数据集，其中包含不同强度的预设（presuppositions）。这些预设从弱到强，例如在健康领域预设某种治疗的有效性。研究团队测试了多个广泛部署的模型，包括推理模型（如某些思维链模型）和非推理模型。结果显示，相比非推理模型，推理模型的准确率仅提升2-11%，但仍然无法反驳26-42%的错误预设。更值得警惕的是，推理模型对预设的表达强度高度敏感：预设越强烈，模型越容易接受错误。这一发现表明，尽管推理能力有所进步，但模型在处理用户错误前提时仍存在显著不足。该研究已被ACL 2026 Findings接收，为未来模型改进指明了方向。此外，研究还指出，用户查询中的预设往往隐含在问题中，例如“为什么疫苗会导致自闭症？”这种问题本身就包含了不正确的预设。模型需要能够识别并挑战这些预设，而不是简单地回答。研究团队呼吁开发者关注这一问题，并开发更好的方法来检测和纠正预设错误。