跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

ReVision:通過時間視覺冗餘縮減擴展計算機使用代理

文章摘要

ReVision是一種用於訓練多模態語言模型的方法,通過移除連續截圖間冗餘的視覺補丁,將令牌使用量平均減少約46%,同時成功率提升3%。該方法使代理能夠以更少的令牌處理更長的軌跡,並表明歷史性能飽和是由於令牌表示效率低下,而非過去信息的有用性有限。

來源arXiv Computational Linguistics作者: Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet
ReVision:通過時間視覺冗餘縮減擴展計算機使用代理
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

計算機使用代理(CUAs)是設計用於通過圖形用户界面與計算機交互的人工智能系統。這些代理依賴於對屏幕截圖的可視化觀察來理解當前界面狀態並決定下一步操作。然而,每張屏幕截圖在被多模態語言模型處理時會被編碼成大量的視覺令牌(visual tokens),這使得隨着任務執行過程中交互軌跡的增長,令牌消耗迅速增加。在固定的上下文窗口和計算預算下,這嚴重限制了代理能夠利用的歷史屏幕截圖數量,進而影響了基於歷史信息的決策能力。事實上,與其他領域不同,在CUA中使用歷史信息往往無法帶來明顯的性能提升,甚至可能沒有提升,這曾讓研究者感到困惑。

為了解決這一效率瓶頸,來自多倫多大學等機構的研究人員提出了ReVision方法。ReVision的核心思想是在訓練多模態語言模型時,通過一個專門學習的補丁選擇器(patch selector)來動態移除連續屏幕截圖之間的冗餘視覺補丁。該選擇器通過比較相鄰截圖對應的補丁表示,識別並剔除那些信息變化不大的區域,同時保留模型所需的空間結構信息。這種處理方式使得模型能夠用更少的令牌表示相同的視覺輸入,從而在不犧牲關鍵信息的前提下大幅降低令牌開銷。

研究團隊在三個具有挑戰性的基準測試——OSWorld、WebTailBench和AgentNetBench上評估了ReVision的有效性。實驗採用Qwen2.5-VL-7B模型處理包含5張歷史屏幕截圖的軌跡。結果表明,與不進行補丁丟棄的基線方法相比,ReVision平均將令牌使用量降低了約46%,同時將任務成功率提升了3%。這一顯著的效率提升意味着代理可以用更少的令牌處理更長的軌跡,從而能夠在固定資源約束下納入更多的歷史觀察。

更重要的是,ReVision帶來的效率改進使研究者得以重新審視歷史信息在CUA中的作用。他們發現,一旦通過ReVision消除了令牌表示的冗餘,代理的性能會隨着納入更多過去觀察而持續提升。這一發現挑戰了此前普遍認為的“視覺歷史飽和”現象——即增加歷史信息不會帶來額外收益。研究者指出,這種飽和並非因為過去信息本身價值有限,而是由於傳統的令牌表示方式效率低下,導致在有限的上下文預算下無法充分利用歷史信息。ReVision的工作表明,通過優化表示效率,CUA可以從更長的歷史軌跡中獲益,為未來開發更強大的計算機使用代理開闢了新的方向。

展開要點與分析

文章情報

工程師進階

要點

  • ReVision通過學習補丁選擇器比較連續截圖間的補丁表示,移除冗餘視覺補丁。
  • 在OSWorld、WebTailBench和AgentNetBench基準測試中,令牌使用量減少約46%,成功率提升3%。
  • 去除冗餘後,更多歷史觀察可進一步提升性能,推翻歷史飽和的常見觀點。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。