是什么推动了从反馈中获得的交互式改进？
该研究引入了一种受控的学生-教师协议，以区分真正由反馈驱动的改进与仅因重复尝试或重采样带来的提升。在多个基准测试中，自我反馈比无指导的自我改进几乎没有额外收益，而强大的外部教师则带来更大的反馈特定增益。瓶颈在于学生利用反馈的能力，而非反馈的可得性。
在人工智能领域，多轮交互中的改进常常被归功于自然语言反馈。然而，一项新研究揭示了这一假设的脆弱性：许多看似由反馈驱动的提升，实际上可能源于重采样或格式修正等表面因素。来自arXiv的一篇论文《What Drives Interactive Improvement from Feedback?》通过严格控制的实验框架，系统区分了反馈的真实贡献和其他混淆因素。
研究团队设计了一种学生-教师协议，在Omni-MATH、Codeforces、BBEH Linguini和ARC-AGI1等多个基准测试上评估了13个开源模型。协议比较了外部反馈、自我反馈和无指导的自我改进三种条件，并控制了交互历史、任务难度和教师对特权信息的访问。这种设计使得研究者能够隔离出反馈的特定效应。
主要发现令人警醒：自我生成的反馈几乎不提供额外收益，与无指导的自我改进效果相当。相反，强大的外部教师（如GPT-4）能够产生显著的反馈特定增益，但这些增益依赖于学生模型有效利用反馈的能力，而非教师本身的特性。通过密集的学生-教师交互矩阵，研究证实交互改进的主要瓶颈是学生的反馈利用能力，而不仅仅是反馈的可用性。
这一结果对AI系统的评估和设计具有重要指导意义。研究者建议，基于反馈的智能体应始终与重复尝试的基线进行比较，以排除表面改进。同时，未来的工作应更多关注如何提升模型“从反馈中学习”的能力，而非仅仅提供更高质量的反馈。相关评估框架已开源，供社区进一步探索。
具体而言，该研究还发现，即使教师模型足够强大，如果学生模型无法有效理解并应用反馈，改进仍然有限。例如，在编程任务中，自我反馈往往只是重新格式化代码或尝试不同的随机种子，而非真正修正逻辑错误。而在数学推理任务中，外部教师提供的逐步指导可以显著提升学生模型的准确率，但前提是学生模型具备足够的推理能力来跟随指导。这一发现对于构建更高效的AI助手具有重要启示：未来的系统设计应更注重增强模型从反馈中学习的能力，而非仅仅依赖更高质量的反馈源。研究团队已公开其学生-教师评估框架，以便其他研究者复现和扩展这些发现。