计算机使用代理(CUAs)是设计用于通过图形用户界面与计算机交互的人工智能系统。这些代理依赖于对屏幕截图的可视化观察来理解当前界面状态并决定下一步操作。然而,每张屏幕截图在被多模态语言模型处理时会被编码成大量的视觉令牌(visual tokens),这使得随着任务执行过程中交互轨迹的增长,令牌消耗迅速增加。在固定的上下文窗口和计算预算下,这严重限制了代理能够利用的历史屏幕截图数量,进而影响了基于历史信息的决策能力。事实上,与其他领域不同,在CUA中使用历史信息往往无法带来明显的性能提升,甚至可能没有提升,这曾让研究者感到困惑。
为了解决这一效率瓶颈,来自多伦多大学等机构的研究人员提出了ReVision方法。ReVision的核心思想是在训练多模态语言模型时,通过一个专门学习的补丁选择器(patch selector)来动态移除连续屏幕截图之间的冗余视觉补丁。该选择器通过比较相邻截图对应的补丁表示,识别并剔除那些信息变化不大的区域,同时保留模型所需的空间结构信息。这种处理方式使得模型能够用更少的令牌表示相同的视觉输入,从而在不牺牲关键信息的前提下大幅降低令牌开销。
研究团队在三个具有挑战性的基准测试——OSWorld、WebTailBench和AgentNetBench上评估了ReVision的有效性。实验采用Qwen2.5-VL-7B模型处理包含5张历史屏幕截图的轨迹。结果表明,与不进行补丁丢弃的基线方法相比,ReVision平均将令牌使用量降低了约46%,同时将任务成功率提升了3%。这一显著的效率提升意味着代理可以用更少的令牌处理更长的轨迹,从而能够在固定资源约束下纳入更多的历史观察。
更重要的是,ReVision带来的效率改进使研究者得以重新审视历史信息在CUA中的作用。他们发现,一旦通过ReVision消除了令牌表示的冗余,代理的性能会随着纳入更多过去观察而持续提升。这一发现挑战了此前普遍认为的“视觉历史饱和”现象——即增加历史信息不会带来额外收益。研究者指出,这种饱和并非因为过去信息本身价值有限,而是由于传统的令牌表示方式效率低下,导致在有限的上下文预算下无法充分利用历史信息。ReVision的工作表明,通过优化表示效率,CUA可以从更长的历史轨迹中获益,为未来开发更强大的计算机使用代理开辟了新的方向。