大语言模型的训练目标是预测下一个词元,而非在特定API中执行操作。论文指出,当任务变为在细分企业SaaS工作流中完成操作时——例如用正确的嵌套参数、以正确顺序命中正确端点——这种目标错配会表现为静默失败:遗漏必填字段、虚构并不存在的工具,或在一次读取后过早停止。作者提出的问题是:将可验证奖励强化学习(RLVR)直接应用于目标环境,能否弥合这一差距。
为验证这一想法,研究团队构建了五个合成环境,力求在模式层面忠实还原Jira REST v3与Confluence v2 API。这些环境的关键设计在于奖励完全由工具调用轨迹计算,既不依赖真实API,也不引入学习型评判器,更没有人工标注参与循环。换言之,模型是否正确完成操作由确定性检查器直接判定,这使得GRPO训练所用的检查器与评估所用的检查器完全一致。
实验对比了提示词条件下的Qwen3-1.7B与Qwen3.5-4B。结果显示,在五个场景中奖励非退化的四个场景上,经强化学习训练的策略将平均奖励从4B基线模型的0.35–0.92区间提升至0.95–1.00。其中提升最显著的是Confluence页面创建任务,奖励从0.35上升至1.00,说明模型从几乎无法完成该多步操作变为稳定成功。
作者将这项工作定位为面向细分企业API的结果优化小型模型的初步步骤,而非成熟方案。论文明确强调两项局限供读者权衡:其一,手工构建可验证奖励的方式难以扩展到本文所报告的少数端点之外,奖励工程本身可能成为规模化瓶颈;其二,五个场景中的工单状态转换(ticket-transition)任务具有饱和的奖励形态,提示词条件下的4B模型已经可以达到满分,因此该场景无法体现RLVR的增益。
该论文于2026年7月1日提交至arXiv,编号arXiv:2607.01465,归类为cs.AI,作者为Karthikeya Aditya Vissa等五人,提交人为Harshit Rajgarhia。尽管范围有限,这项工作为“在特定API环境中直接用可验证奖励优化小型模型”的思路提供了一个清晰的基线,也暴露了奖励设计与场景选择对结论的重要影响。