是什麼推動了從反饋中獲得的交互式改進？
該研究引入了一種受控的學生-教師協議，以區分真正由反饋驅動的改進與僅因重複嘗試或重採樣帶來的提升。在多個基準測試中，自我反饋比無指導的自我改進幾乎沒有額外收益，而強大的外部教師則帶來更大的反饋特定增益。瓶頸在於學生利用反饋的能力，而非反饋的可得性。
在人工智能領域，多輪交互中的改進常常被歸功於自然語言反饋。然而，一項新研究揭示了這一假設的脆弱性：許多看似由反饋驅動的提升，實際上可能源於重採樣或格式修正等表面因素。來自arXiv的一篇論文《What Drives Interactive Improvement from Feedback?》通過嚴格控制的實驗框架，系統區分了反饋的真實貢獻和其他混淆因素。
研究團隊設計了一種學生-教師協議，在Omni-MATH、Codeforces、BBEH Linguini和ARC-AGI1等多個基準測試上評估了13個開源模型。協議比較了外部反饋、自我反饋和無指導的自我改進三種條件，並控制了交互歷史、任務難度和教師對特權信息的訪問。這種設計使得研究者能夠隔離出反饋的特定效應。
主要發現令人警醒：自我生成的反饋幾乎不提供額外收益，與無指導的自我改進效果相當。相反，強大的外部教師（如GPT-4）能夠產生顯著的反饋特定增益，但這些增益依賴於學生模型有效利用反饋的能力，而非教師本身的特性。通過密集的學生-教師交互矩陣，研究證實交互改進的主要瓶頸是學生的反饋利用能力，而不僅僅是反饋的可用性。
這一結果對AI系統的評估和設計具有重要指導意義。研究者建議，基於反饋的智能體應始終與重複嘗試的基線進行比較，以排除表面改進。同時，未來的工作應更多關注如何提升模型“從反饋中學習”的能力，而非僅僅提供更高質量的反饋。相關評估框架已開源，供社區進一步探索。
具體而言，該研究還發現，即使教師模型足夠強大，如果學生模型無法有效理解並應用反饋，改進仍然有限。例如，在編程任務中，自我反饋往往只是重新格式化代碼或嘗試不同的隨機種子，而非真正修正邏輯錯誤。而在數學推理任務中，外部教師提供的逐步指導可以顯著提升學生模型的準確率，但前提是學生模型具備足夠的推理能力來跟隨指導。這一發現對於構建更高效的AI助手具有重要啓示：未來的系統設計應更注重增強模型從反饋中學習的能力，而非僅僅依賴更高質量的反饋源。研究團隊已公開其學生-教師評估框架，以便其他研究者復現和擴展這些發現。