最近、『What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs』と題する論文がarXivで公開され、視覚言語モデル（VLM）がグラフィカルユーザーインターフェース（GUI）グラウンディングタスクを実行する際の内部メカニズムを深く調査しました。著者はJiaping Lin氏を含む7名の研究者です。
現在の訓練不要のGUIグラウンディング手法の多くは、反復的な画像クロッピングや候補統合など、複数回の推論に依存しています。しかし、これらの手法では各フォワードパスが独立してユーザー指示を解釈し、視覚レイアウトを解析するため、視覚トークン間の漸進的な相互作用が欠けています。この制限により、複雑なインターフェースの理解が非効率的でエラーを起こしやすくなっています。
研究チームの分析により、VLMのGUIグラウンディングは実際には2段階のパラダイムに従うことが明らかになりました。第1段階は「プリフィル」であり、ここで候補となるUI要素が決定されます。第2段階は「デコード」であり、第1段階で選ばれた候補の座標を精密に調整します。この非対称性により、プリフィル段階が全体のプロセスにおいて重要な鍵を握ることが示されました。プリフィルで誤った要素が選択されると、その後のデコード段階で効果的に修正することはほとんど不可能です。
この重要な観察に基づき、論文は「Re-Prefill」と呼ばれる訓練不要の手法を提案しています。この手法は、元の推論フローに注意誘導による2回目のプリフィル段階を導入し、ターゲット選択を洗練します。具体的には、モデルはまずクエリ位置（最終トークン）から各層にわたって一貫して高い注意を受けている視覚トークンを抽出し、初期ターゲット仮説とします。次に、これらの視覚トークンを指示の隠れ状態とともに入力に追加し、モデルが最終座標を生成する前にその決定を深く再考できるようにします。
実験では、研究チームは4種類の異なるVLMと5つのベンチマーク（ScreenSpot-Pro、ScreenSpot-V2、OSWorld-G、UI-Vision、MMBench-GUI）でRe-Prefillの有効性を検証しました。結果は、追加訓練を一切行わずにすべてのテストで一貫した改善を示し、特にScreenSpot-Proでは最大4.3%の性能向上を達成しました。著者らは、コードをGitHubで公開する予定です。
この研究は、VLMのGUIグラウンディングにおける重要なボトルネックを明らかにしただけでなく、シンプルで効果的な改善策を提供しており、自動運転インターフェースやソフトウェア自動テストなどの分野での応用が期待されます。