跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

多样性优于频率:重新思考视觉思维链智能体中的工具使用

文章摘要

该论文研究视觉思维链智能体在复杂视觉推理中的工具使用行为,发现“工具使用坍塌”现象:模型逐渐停止使用工具却获得更高准确率。作者指出,工具使用的频率并非关键,训练时的探索多样性才是提升推理性能的核心,并通过熵正则化实现了最佳性能。

来源arXiv Computer Vision作者: Dong-Hee Kim, Reuben Tan, Donghyun Kim
多样性优于频率:重新思考视觉思维链智能体中的工具使用
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《多样性优于频率:重新思考视觉思维链智能体中的工具使用》的论文以 arXiv:2606.00096v1 发布,并被 ICML 2026 接收。论文由 Dong-Hee Kim 等三位作者完成,提交于 2026 年 5 月 25 日,属于计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)交叉方向。研究聚焦于视觉智能体在视觉思维链中调用外部视觉工具的行为,探讨这些工具在比简单视觉搜索更复杂的推理任务中究竟扮演什么角色。

此前的工作主要考察视觉搜索任务中的工具使用,而本文把研究范围扩展到更具挑战性的场景,包括三维空间推理和医学视觉问答。在这类任务中,智能体需要把通过工具获得的局部细粒度证据与整体全局上下文结合起来,才能给出准确答案。这一设定使工具调用不再是可有可无的辅助,而成为推理链条中需要权衡的一环。

研究最重要的发现是所谓的“工具使用坍缩”(tool-use collapse)现象:在训练过程中,模型会逐步停止调用工具,但任务准确率反而持续提升。换句话说,工具使用频率的下降并不必然意味着能力退化。作者进一步观察到一种明显的不对称性:一方面,如果完全消除工具使用,模型性能会出现下降;另一方面,如果主动激励模型更多使用工具,虽然工具调用量大幅增加,但性能提升却十分有限,甚至仅属边际收益。

为了解释这一看似矛盾的现象,作者分析了训练过程中的 rollout 多样性。他们发现,常规的原始训练方式与鼓励工具使用的训练方式都会降低 rollout 的多样性,而这正是“工具使用更多却没有带来更强推理能力”的原因所在。多样性不足意味着模型在语言生成和工具调用上的探索空间被压缩,因而难以找到更优的推理路径。

基于上述发现,作者在训练中加入了熵正则化项,用以鼓励更多样化的 rollout 探索。实验结果显示,这一方法取得了最佳性能,尽管在此过程中工具使用频率是逐渐下降的。作者还指出,在医学视觉问答任务上也观察到了类似的动态,说明工具使用坍缩并非只存在于三维空间推理任务中。

总体而言,这项研究提出了从训练视角理解工具作用的观点:工具可以被视为一种“脚手架”(scaffolding)。在语言生成与视觉工具调用两个维度上进行更广泛的探索,能够提升推理表现,即便工具使用最终出现坍缩也无妨。关键不在于工具被调用的次数,而在于模型是否保持了足够的探索多样性。论文的项目页面为 https://scaffolded-exploration.github.io。

展开要点与分析

文章情报

投资人进阶

要点

  • 模型出现“工具使用坍塌”现象:逐渐减少工具调用但准确率反而提升
  • 消除工具会降低性能,但强制增加工具使用仅带来边际收益
  • 传统训练和鼓励工具使用均会降低 rollout 多样性
  • 引入熵正则化鼓励多样化探索,在工具使用下降的情况下取得最佳性能
  • 工具应被视为训练阶段的“脚手架”,而非推理时必需的组件

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。