人工知能（AI）の分野では、マルチターン対話における改善が自然言語フィードバックによるものとされることが多い。しかし、arXivに投稿された新しい研究「What Drives Interactive Improvement from Feedback?」は、その仮定の脆弱性を明らかにしている。多くの場合、フィードバックによる改善と思われる効果は、実際には再サンプリングや形式修正などの表面的な要因に起因する可能性がある。
研究チームは、制御された学生-教師プロトコルを設計し、Omni-MATH、Codeforces、BBEH Linguini、ARC-AGI1などのベンチマークで13のオープンウェイトモデルを評価した。プロトコルでは、外部フィードバック、自己フィードバック、非誘導自己改善の3条件を比較し、インタラクション履歴、タスク難易度、教師の特権情報へのアクセスを制御した。これにより、フィードバックの真の効果を分離することが可能となった。
主な発見は、自己生成フィードバックが非誘導自己改善とほとんど変わらず、追加の利益をもたらさないことである。一方、GPT-4などの強力な外部教師は、フィードバック特異的な大きな改善をもたらした。しかし、その効果は生徒モデルがフィードバックを効果的に活用する能力に依存しており、教師のアイデンティティ自体にはあまり依存しない。密集した学生-教師相互作用行列の分析から、対話的改善の主なボトルネックはフィードバックの可用性ではなく、生徒のフィードバック活用能力であることが示された。
この結果は、AIシステムの評価と設計に重要な示唆を与える。研究チームは、フィードバックベースのエージェントは常に反復試行のベースラインと比較すべきであり、表面的な改善を排除する必要があると提言している。また、今後の研究は、高品質のフィードバックを提供することよりも、モデルがフィードバックから学習する能力を向上させることに焦点を当てるべきである。関連する評価フレームワークはオープンソースとして公開されており、コミュニティによるさらなる探求が可能である。
例えば、コード生成タスクでは、自己フィードバックは単にコードの再フォーマットや異なる乱数シードの試行に過ぎず、論理エラーの修正には至らないことが多い。一方、数学推論タスクでは、外部教師が段階的な指導を提供することで、生徒モデルの正解率が大幅に向上するが、そのためには生徒モデルが指導に従うだけの推論能力を備えている必要がある。この発見は、より効果的なAIアシスタントを構築する上で重要な示唆を与える。すなわち、将来のシステム設計は、単に高品質なフィードバック源に依存するのではなく、モデルがフィードバックから学習する能力を強化することに重点を置くべきである。研究チームは、学生-教師評価フレームワークを公開しており、他の研究者がこれらの発見を再現し拡張することが可能である。