通過離線強化學習控制LLM Agent執行框架
本文提出將大語言模型（LLM）Agent的執行框架視為可學習的控制層，形式化為有限時域馬爾可夫決策過程（Harness MDP），並通過離線優勢加權迴歸訓練輕量級控制器。實驗表明，該控制器能持續改進驗證行為並選擇性提升任務質量，且效果優於行為克隆等基線。
大型語言模型（LLM）Agent通常通過修改提示、模型或手工編寫的工作流來改進，而圍繞模型的執行框架被視為固定基礎設施。然而，來自arXiv的一篇新論文（編號2607.05458）提出，這個執行框架本身就是一個可學習的控制層。研究人員將框架操作形式化為一個有限時域的Harness MDP（馬爾可夫決策過程），其中輕量級控制器負責選擇結構性的執行動作，而LLM執行器保持凍結狀態。控制器通過離線軌跡使用優勢加權迴歸進行訓練，僅依賴終端任務評分獎勵，不需要中間反饋。
為了更好地區分任務質量與執行過程，論文引入了一個事後框架成熟度評分（Harness Maturity Score）。該評分不僅關注最終答案的正確性，還衡量框架是否遵循可靠的執行模式。這種分離提供了一個有限緩衝視角：最終質量的提升需要離線緩衝區中存在高回報支持，而過程行為可以在與優勢加權行動一致時發生改變。這意味着，當緩衝區內缺乏足夠的高質量軌跡時，過程控制的改善未必能轉化為最終答案的改進，但若有足夠的支持，則可能實現顯著提升。
在六個受控領域和兩個公共基準適配器上，學習到的控制器持續改進了驗證行為，並選擇性地提升了最終任務質量。最大的改進出現在適應後的tau-bench零售、AgentBench DB-Bench以及使用校準結構驗證器的編程任務中。消融實驗對比了行為克隆和Forced CHECK方法，表明這些改進並非源於模仿或單純增加檢查。例如，在tau-bench零售任務中，學習到的控制器通過更可靠的驗證步驟顯著提高了任務成功率。
這些結果將框架控制識別為凍結LLM Agent的一個可學習層，同時展示了離線支持的限制：更好的過程控制何時能夠轉化為更好的最終答案，取決於離線緩衝區中是否包含高回報的軌跡。這項研究為LLM Agent的優化提供了新的方向，即通過輕量級的控制層來調整執行過程，而無需修改底層模型。