コンピュータ使用エージェント（CUA）は、グラフィカルユーザインタフェース（GUI）を介してコンピュータと対話するように設計された人工知能システムです。これらのエージェントは、画面のスクリーンショットを視覚的に観察して現在のインタフェースの状態を理解し、次のアクションを決定します。しかし、各スクリーンショットはマルチモーダル言語モデルによって処理される際に、多数の視覚トークン（visual tokens）にエンコードされます。そのため、タスク実行中にインタラクションの軌跡が長くなるにつれて、トークン消費が急速に増加します。固定されたコンテキストウィンドウと計算予算の下では、これによりエージェントが利用できる履歴スクリーンショットの数が大幅に制限され、履歴情報に基づく意思決定能力に悪影響を及ぼします。実際、他のドメインとは異なり、CUAで履歴情報を使用しても性能が向上しない、あるいはほとんど向上しないことがあり、研究者を困惑させてきました。
この効率のボトルネックに対処するため、トロント大学などの研究機関の研究者らはReVisionを提案しました。ReVisionの核心は、マルチモーダル言語モデルを訓練する際に、学習されたパッチセレクタ（patch selector）を使用して連続するスクリーンショット間の冗長な視覚パッチを動的に除去することです。このセレクタは、隣接するスクリーンショットのパッチ表現を比較し、情報の変化が少ない領域を識別して除外します。同時に、モデルが必要とする空間構造は保持されます。この処理により、モデルは同じ視覚入力をより少ないトークンで表現できるようになり、重要な情報を犠牲にすることなくトークンオーバーヘッドを大幅に削減できます。
研究チームは、OSWorld、WebTailBench、AgentNetBenchという3つの挑戦的なベンチマークでReVisionの有効性を評価しました。実験では、Qwen2.5-VL-7Bモデルを使用して5枚の履歴スクリーンショットを含む軌跡を処理しました。結果、パッチを破棄しないベースライン手法と比較して、ReVisionは平均してトークン使用量を約46%削減し、タスク成功率を3%向上させました。この顕著な効率向上により、エージェントはより少ないトークンでより長い軌跡を処理できるようになり、固定リソースの制約下でより多くの過去の観測を取り込むことが可能になります。
さらに重要なことに、ReVisionによる効率改善により、研究者はCUAにおける履歴情報の役割を再検討することができました。彼らは、ReVisionがトークン表現の冗長性を排除すると、より多くの過去の観測を取り入れるにつれてエージェントの性能が継続的に向上することを発見しました。この発見は、これまで広く信じられていた「視覚履歴の飽和」現象（履歴情報を追加しても追加の利益が得られない）に挑戦するものです。研究者は、この飽和は過去の情報自体の有用性が限られているためではなく、従来のトークン表現方法が非効率的であり、限られたコンテキスト予算の下で履歴情報を十分に活用できなかった結果であると指摘しています。ReVisionの研究は、表現効率を最適化することでCUAがより長い履歴から利益を得られることを示しており、より強力なコンピュータ使用エージェントを開発するための新たな道を開いています。