跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

ReVision:透過時間視覺冗餘縮減擴充套件計算機使用代理

文章摘要

ReVision是一種用於訓練多模態語言模型的方法,透過移除連續截圖間冗餘的視覺補丁,將令牌使用量平均減少約46%,同時成功率提升3%。該方法使代理能夠以更少的令牌處理更長的軌跡,並表明歷史效能飽和是由於令牌表示效率低下,而非過去資訊的有用性有限。

來源arXiv Computational Linguistics作者: Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet
ReVision:透過時間視覺冗餘縮減擴充套件計算機使用代理
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

計算機使用代理(CUAs)是設計用於透過圖形使用者介面與計算機互動的人工智慧系統。這些代理依賴於對螢幕截圖的視覺化觀察來理解當前介面狀態並決定下一步操作。然而,每張螢幕截圖在被多模態語言模型處理時會被編碼成大量的視覺令牌(visual tokens),這使得隨著任務執行過程中互動軌跡的增長,令牌消耗迅速增加。在固定的上下文視窗和計算預算下,這嚴重限制了代理能夠利用的歷史螢幕截圖數量,進而影響了基於歷史資訊的決策能力。事實上,與其他領域不同,在CUA中使用歷史資訊往往無法帶來明顯的效能提升,甚至可能沒有提升,這曾讓研究者感到困惑。

為了解決這一效率瓶頸,來自多倫多大學等機構的研究人員提出了ReVision方法。ReVision的核心思想是在訓練多模態語言模型時,透過一個專門學習的補丁選擇器(patch selector)來動態移除連續螢幕截圖之間的冗餘視覺補丁。該選擇器透過比較相鄰截圖對應的補丁表示,識別並剔除那些資訊變化不大的區域,同時保留模型所需的空間結構資訊。這種處理方式使得模型能夠用更少的令牌表示相同的視覺輸入,從而在不犧牲關鍵資訊的前提下大幅降低令牌開銷。

研究團隊在三個具有挑戰性的基準測試——OSWorld、WebTailBench和AgentNetBench上評估了ReVision的有效性。實驗採用Qwen2.5-VL-7B模型處理包含5張歷史螢幕截圖的軌跡。結果表明,與不進行補丁丟棄的基線方法相比,ReVision平均將令牌使用量降低了約46%,同時將任務成功率提升了3%。這一顯著的效率提升意味著代理可以用更少的令牌處理更長的軌跡,從而能夠在固定資源約束下納入更多的歷史觀察。

更重要的是,ReVision帶來的效率改進使研究者得以重新審視歷史資訊在CUA中的作用。他們發現,一旦透過ReVision消除了令牌表示的冗餘,代理的效能會隨著納入更多過去觀察而持續提升。這一發現挑戰了此前普遍認為的“視覺歷史飽和”現象——即增加歷史資訊不會帶來額外收益。研究者指出,這種飽和並非因為過去資訊本身價值有限,而是由於傳統的令牌表示方式效率低下,導致在有限的上下文預算下無法充分利用歷史資訊。ReVision的工作表明,透過最佳化表示效率,CUA可以從更長的歷史軌跡中獲益,為未來開發更強大的計算機使用代理開闢了新的方向。

展開要點與分析

文章情報

工程師進階

要點

  • ReVision透過學習補丁選擇器比較連續截圖間的補丁表示,移除冗餘視覺補丁。
  • 在OSWorld、WebTailBench和AgentNetBench基準測試中,令牌使用量減少約46%,成功率提升3%。
  • 去除冗餘後,更多歷史觀察可進一步提升效能,推翻歷史飽和的常見觀點。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。