跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Agentic工具调用与RL训练的有效性与效率研究

文章摘要

该ICML 2026论文从两个维度研究LLM智能体的工具调用能力:有效性方面揭示评估流程对随机种子、系统提示、多轮模板等实现细节高度敏感,导致排行榜不可靠;效率方面指出标准强化学习存在rollout无学习信号与策略更新开销大两类浪费,并提出两种加速训练且不损失性能的技术。

来源arXiv Machine Learning作者: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai
Agentic工具调用与RL训练的有效性与效率研究
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

工具调用已成为现代大语言模型(LLM)智能体的核心能力,使其能够获取参数化知识之外的技能。来自 Tong Liu 等七位作者的论文《On Effectiveness and Efficiency of Agentic Tool-calling and RL Training》已被 ICML 2026 接收,并作为 arXiv:2606.00135v1 于 2026 年 5 月 28 日提交至 cs.LG 分类,同时交叉列入 cs.AI。该研究围绕两条互补的轴线展开:有效性,即这一能力如何被测量;效率,即这一能力如何被学习。

在有效性方面,作者系统性地剖析了工具调用的评估流程,指出报告结果对若干看似微小、且常常未被记录的实现选择高度敏感。这些选择包括随机种子、系统提示的措辞、多轮对话模板的构造方式,以及此前的交互与推理历史如何被延续到后续轮次中。作者强调,这些差异足以在报告性能上造成可观的波动,在多轮设置下尤为明显——若缺乏严格的标准化,榜单排名便不再可靠。换言之,当前许多工具调用基准的比较可能并未真正反映模型能力的差异,而是混杂了工程实现上的偶然因素。

在效率方面,论文考察了用于工具调用的标准强化学习流程,并识别出两个计算浪费的来源。其一发生在 rollout 阶段:大量提示并不会产生任何有效的学习信号,算力被白白消耗。其二发生在策略更新阶段:优化过程本身带来高昂的计算成本。针对这两点,作者提出了两种技术来加速基于 RL 的工具调用训练,在实现显著墙钟时间加速的同时不降低模型性能。

综合来看,这项工作同时触及了评测方法学与训练算法两个层面:它提醒研究社区在比较智能体工具调用能力时必须规范并公开实现细节,也为以强化学习方式训练工具调用能力提供了更高效的工程路径。论文全文可通过 arXiv 获取 PDF、实验性 HTML 与 TeX 源码,DOI 为 10.48550/arXiv.2606.00135。

展开要点与分析

文章情报

工程师进阶

要点

  • 系统分析工具调用评估流程,发现随机种子、系统提示、多轮模板和历史携带方式等细节会显著影响报告性能
  • 多轮设置下缺乏严格标准化会使排行榜排名不可靠
  • 识别RL训练两大算力浪费来源:rollout阶段大量提示无学习信号,策略更新阶段优化成本高
  • 提出两种技术实现显著墙钟时间加速且不牺牲性能

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。