跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

超越下一词预测:面向Atlassian工作流工具调用智能体的RLVR概念验证

文章摘要

一篇arXiv论文提出以可验证奖励强化学习(RLVR)训练小型语言模型,使其在Jira与Confluence等细分企业SaaS API中正确调用工具。研究用五个高保真合成环境替代真实API,仅依据工具调用轨迹计算奖励,在四个奖励非退化的场景中将平均奖励从0.35–0.92提升至0.95–1.00。

来源arXiv AI作者: Karthikeya Aditya Vissa, Sankalp Mane, Ananya Mantravadi, Harshit Rajgarhia, Abhishek Mukherji
超越下一词预测:面向Atlassian工作流工具调用智能体的RLVR概念验证
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大语言模型的训练目标是预测下一个词元,而非在特定API中执行操作。论文指出,当任务变为在细分企业SaaS工作流中完成操作时——例如用正确的嵌套参数、以正确顺序命中正确端点——这种目标错配会表现为静默失败:遗漏必填字段、虚构并不存在的工具,或在一次读取后过早停止。作者提出的问题是:将可验证奖励强化学习(RLVR)直接应用于目标环境,能否弥合这一差距。

为验证这一想法,研究团队构建了五个合成环境,力求在模式层面忠实还原Jira REST v3与Confluence v2 API。这些环境的关键设计在于奖励完全由工具调用轨迹计算,既不依赖真实API,也不引入学习型评判器,更没有人工标注参与循环。换言之,模型是否正确完成操作由确定性检查器直接判定,这使得GRPO训练所用的检查器与评估所用的检查器完全一致。

实验对比了提示词条件下的Qwen3-1.7B与Qwen3.5-4B。结果显示,在五个场景中奖励非退化的四个场景上,经强化学习训练的策略将平均奖励从4B基线模型的0.35–0.92区间提升至0.95–1.00。其中提升最显著的是Confluence页面创建任务,奖励从0.35上升至1.00,说明模型从几乎无法完成该多步操作变为稳定成功。

作者将这项工作定位为面向细分企业API的结果优化小型模型的初步步骤,而非成熟方案。论文明确强调两项局限供读者权衡:其一,手工构建可验证奖励的方式难以扩展到本文所报告的少数端点之外,奖励工程本身可能成为规模化瓶颈;其二,五个场景中的工单状态转换(ticket-transition)任务具有饱和的奖励形态,提示词条件下的4B模型已经可以达到满分,因此该场景无法体现RLVR的增益。

该论文于2026年7月1日提交至arXiv,编号arXiv:2607.01465,归类为cs.AI,作者为Karthikeya Aditya Vissa等五人,提交人为Harshit Rajgarhia。尽管范围有限,这项工作为“在特定API环境中直接用可验证奖励优化小型模型”的思路提供了一个清晰的基线,也暴露了奖励设计与场景选择对结论的重要影响。

展开要点与分析

文章情报

工程师进阶

要点

  • 用五个模拟Jira REST v3与Confluence v2的合成环境进行训练,奖励完全由工具调用轨迹计算,无需真实API、学习型评判器或人工标注。
  • 在四个奖励非退化的场景中,经GRPO训练的Qwen模型将平均奖励从4B基线的0.35–0.92提升至0.95–1.00,Confluence页面创建提升最大(0.35→1.00)。
  • 作者指出手工构建可验证奖励难以扩展到更多端点,且工单状态转换场景存在奖励饱和问题,提示4B模型已达到上限。
  • 研究将自身定位为面向细分企业API的结果优化小型模型的初步探索。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。