近日,一篇题为《多样性优于频率:重新思考视觉思维链智能体中的工具使用》的论文以 arXiv:2606.00096v1 发布,并被 ICML 2026 接收。论文由 Dong-Hee Kim 等三位作者完成,提交于 2026 年 5 月 25 日,属于计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)交叉方向。研究聚焦于视觉智能体在视觉思维链中调用外部视觉工具的行为,探讨这些工具在比简单视觉搜索更复杂的推理任务中究竟扮演什么角色。
此前的工作主要考察视觉搜索任务中的工具使用,而本文把研究范围扩展到更具挑战性的场景,包括三维空间推理和医学视觉问答。在这类任务中,智能体需要把通过工具获得的局部细粒度证据与整体全局上下文结合起来,才能给出准确答案。这一设定使工具调用不再是可有可无的辅助,而成为推理链条中需要权衡的一环。
研究最重要的发现是所谓的“工具使用坍缩”(tool-use collapse)现象:在训练过程中,模型会逐步停止调用工具,但任务准确率反而持续提升。换句话说,工具使用频率的下降并不必然意味着能力退化。作者进一步观察到一种明显的不对称性:一方面,如果完全消除工具使用,模型性能会出现下降;另一方面,如果主动激励模型更多使用工具,虽然工具调用量大幅增加,但性能提升却十分有限,甚至仅属边际收益。
为了解释这一看似矛盾的现象,作者分析了训练过程中的 rollout 多样性。他们发现,常规的原始训练方式与鼓励工具使用的训练方式都会降低 rollout 的多样性,而这正是“工具使用更多却没有带来更强推理能力”的原因所在。多样性不足意味着模型在语言生成和工具调用上的探索空间被压缩,因而难以找到更优的推理路径。
基于上述发现,作者在训练中加入了熵正则化项,用以鼓励更多样化的 rollout 探索。实验结果显示,这一方法取得了最佳性能,尽管在此过程中工具使用频率是逐渐下降的。作者还指出,在医学视觉问答任务上也观察到了类似的动态,说明工具使用坍缩并非只存在于三维空间推理任务中。
总体而言,这项研究提出了从训练视角理解工具作用的观点:工具可以被视为一种“脚手架”(scaffolding)。在语言生成与视觉工具调用两个维度上进行更广泛的探索,能够提升推理表现,即便工具使用最终出现坍缩也无妨。关键不在于工具被调用的次数,而在于模型是否保持了足够的探索多样性。论文的项目页面为 https://scaffolded-exploration.github.io。