何时批评能改善AI辅助理论物理？SCALAR：用于智能推理的结构化批评-行动循环

随着大型语言模型（LLM）在研究级物理推理任务中展现出越来越大的潜力，智能体AI也日益普及，一个实际的问题随之浮现：研究人员与AI智能体之间的交互如何影响结果？为了探究这一问题，研究者提出了SCALAR（结构化批评-行动循环，即Structured Critic--Actor Loop for AI Reasoning），这是一个应用于量子场论和弦论问题的行动-批评-裁判管道。在该框架中，行动者（Actor）提出解决方案，批评者（Critic）提供迭代反馈，独立的裁判（Judge）则根据参考解决方案评估过程记录。研究者系统地变化了行动者角色、批评反馈策略以及行动者模型系列和规模。研究发现，多轮对话在各种设置下均优于单次尝试，但改进的机制以及不同提示选择的价值很大程度上依赖于行动者与批评者的配对方式。在同一个模型系列内增加规模（例如从DeepSeek-R1的80亿参数变体升级到700亿参数版本）可以改善某些简单问题的表现，但并未消除观察到的最大瓶颈。批评反馈策略在不对称的行动-批评设置中最为有效（例如，由更强的Sonnet批评者指导轻量级Haiku行动者），此时建设性反馈能提升平均得分。而在同系列的行动-批评设置中，策略效果较弱：宽松的反馈有时更受欢迎，而严格或对抗性的反馈则无益。总体而言，SCALAR为评估哪些交互结构有助于或阻碍AI驱动的科学发现提供了一个受控的测试平台。该研究由Vasilis Niarchos等四位作者完成，论文共17页，包含9张图表，涉及人工智能、人机交互、高能物理现象学与理论等多个学科。论文于2026年5月7日提交至arXiv，报告编号包括CCTP-2026-7、ITCP-2026-7、CERN-TH-2026-097和QMUL-PH-26-15。研究团队在实验中使用了多种模型配置，包括DeepSeek-R1的不同规模版本以及Claude系列模型（如Haiku和Sonnet）。他们发现，虽然多轮对话整体上提高了性能，但具体的提升幅度取决于行动者和批评者的组合，以及批评者提供的反馈类型。例如，当批评者提供建设性的具体意见时，在不对称配对中平均得分显著提升；而在同一模型家族内，宽松的反馈有时比严格的反馈更有效。这一发现对于设计更有效的AI辅助科研交互具有重要指导意义。