オフライン強化学習によるLLMエージェントハーネスの制御

大規模言語モデル（LLM）エージェントは通常、プロンプト、モデル、または手書きのワークフローを変更することで改善され、モデル周りの実行ハーネスは固定インフラとして扱われます。しかし、arXiv（ID: 2607.05458）の新しい論文は、このハーネス自体が学習可能な制御層であると主張します。研究者らはハーネス操作を有限地平ハーネスMDP（マルコフ決定過程）として形式化し、軽量コントローラが構造的実行アクションを選択する一方、LLM実行者は固定されます。コントローラはオフラインロールアウトから、タスクルーブリックの最終報酬のみを用いてアドバンテージ重み付き回帰で訓練され、中間フィードバックは必要ありません。

タスク品質と実行プロセスをより適切に区別するため、論文は事後的ハーネス成熟度スコア（Harness Maturity Score）を導入します。このスコアは最終回答の正しさだけでなく、ハーネスが信頼できる実行パターンに従っているかを測定します。この分離により、有限バッファ視点が得られます。最終品質の向上にはオフラインバッファに高リターンのサポートが必要ですが、プロセス行動はアドバンテージ重み付きアクションと一致する限り変化できます。つまり、バッファに高品質の軌跡が不足している場合、プロセス制御の改善が最終回答の向上に結びつかない可能性がありますが、十分なサポートがあれば顕著な改善が見込まれます。

6つの制御ドメインと2つの公開ベンチマークアダプタにおいて、学習されたコントローラは検証行動を一貫して改善し、最終タスク品質を選択的に向上させました。最大の改善は、適応後のtau-bench retail、AgentBench DB-Bench、および較正された構造的検証器を用いたコーディングタスクで見られました。行動クローニングやForced CHECKとの比較実験により、これらの改善が模倣や単なるチェック追加では説明できないことが示されました。例えば、tau-bench retailタスクでは、学習されたコントローラがより信頼性の高い検証ステップを通じてタスク成功率を大幅に向上させました。

これらの結果は、固定LLMエージェントにおけるハーネス制御を学習可能な層として特定し、オフラインサポートがより良いプロセス制御をより良い最終回答に変えるタイミングを制限することを示しています。本研究は、軽量な制御層を用いて実行プロセスを調整することで、基盤モデルを変更することなくLLMエージェントを最適化する新たな方向性を提供します。