通过离线强化学习控制LLM Agent执行框架
本文提出将大语言模型（LLM）Agent的执行框架视为可学习的控制层，形式化为有限时域马尔可夫决策过程（Harness MDP），并通过离线优势加权回归训练轻量级控制器。实验表明，该控制器能持续改进验证行为并选择性提升任务质量，且效果优于行为克隆等基线。
大型语言模型（LLM）Agent通常通过修改提示、模型或手工编写的工作流来改进，而围绕模型的执行框架被视为固定基础设施。然而，来自arXiv的一篇新论文（编号2607.05458）提出，这个执行框架本身就是一个可学习的控制层。研究人员将框架操作形式化为一个有限时域的Harness MDP（马尔可夫决策过程），其中轻量级控制器负责选择结构性的执行动作，而LLM执行器保持冻结状态。控制器通过离线轨迹使用优势加权回归进行训练，仅依赖终端任务评分奖励，不需要中间反馈。
为了更好地区分任务质量与执行过程，论文引入了一个事后框架成熟度评分（Harness Maturity Score）。该评分不仅关注最终答案的正确性，还衡量框架是否遵循可靠的执行模式。这种分离提供了一个有限缓冲视角：最终质量的提升需要离线缓冲区中存在高回报支持，而过程行为可以在与优势加权行动一致时发生改变。这意味着，当缓冲区内缺乏足够的高质量轨迹时，过程控制的改善未必能转化为最终答案的改进，但若有足够的支持，则可能实现显著提升。
在六个受控领域和两个公共基准适配器上，学习到的控制器持续改进了验证行为，并选择性地提升了最终任务质量。最大的改进出现在适应后的tau-bench零售、AgentBench DB-Bench以及使用校准结构验证器的编程任务中。消融实验对比了行为克隆和Forced CHECK方法，表明这些改进并非源于模仿或单纯增加检查。例如，在tau-bench零售任务中，学习到的控制器通过更可靠的验证步骤显著提高了任务成功率。
这些结果将框架控制识别为冻结LLM Agent的一个可学习层，同时展示了离线支持的限制：更好的过程控制何时能够转化为更好的最终答案，取决于离线缓冲区中是否包含高回报的轨迹。这项研究为LLM Agent的优化提供了新的方向，即通过轻量级的控制层来调整执行过程，而无需修改底层模型。