近日，一篇題為《What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs》的論文在arXiv上發表，深入研究了視覺-語言模型（VLM）在圖形使用者介面（GUI）定位任務中的內部機制。論文作者包括Jiaping Lin等七位研究人員。
當前，大多數無需額外訓練的GUI定位方法依賴於多次推理過程，例如迭代裁剪或候選聚合，以識別目標介面元素。然而，這些方法每次前向傳播仍然獨立地解讀使用者指令並解析視覺佈局，未能實現視覺令牌之間的漸進式互動。這種侷限性導致模型在理解複雜介面時效率低下且易出錯。
研究者透過分析發現，VLM的GUI定位實際上遵循一個兩階段正規化：第一階段是“預填充”（Prefill），該階段確定候選的UI元素；第二階段是“解碼”（Decoding），對第一階段選出的候選座標進行精細調整。這一不對稱性使得預填充成為整個流程的關鍵步驟——如果預填充階段選擇了錯誤的元素，後續的解碼過程幾乎無法糾正。
基於這一重要觀察，論文提出了一種名為“Re-Prefill”的訓練無關方法。該方法在原始推理流程中引入一個注意力引導的二次預填充步驟，以細化目標選擇。具體而言，模型首先從查詢位置（即最終令牌）在各層中持續獲得高注意力的視覺令牌中提取初步目標假設，然後將這些視覺令牌連同指令的隱藏狀態一同追加到輸入中，使模型在生成最終座標前能夠深度重新思考其決策。
實驗部分，研究者們在四種不同的VLM（視覺-語言模型）和五個基準測試（包括ScreenSpot-Pro、ScreenSpot-V2、OSWorld-G、UI-Vision和MMBench-GUI）上驗證了Re-Prefill的有效性。結果顯示，該方法無需額外訓練即在所有測試中取得一致改進，其中在ScreenSpot-Pro上效能提升高達4.3%。研究者表示，程式碼將在GitHub上開源。
這項研究不僅揭示了VLM在GUI定位中的關鍵瓶頸，還提供了一種簡單有效的改進方案，有望推動自動駕駛介面、軟體自動化測試等領域的應用發展。