視覺語言模型（VLM）為以渲染影像形式處理文本提供了令人興奮的可能性，從而繞過了將文本標記化為長序列的需求。由於 VLM 影像編碼器將固定大小的影像對映到固定數量的視覺 token，改變渲染解析度提供了一種細粒度的壓縮旋鈕。然而，隨著壓縮增加，準確率迅速下降：字元縮小到視覺編碼器的有效解析度以下，使其難以區分。為了解決這一問題，我們提出了 LensVLM，這是一個推理框架和後訓練方案，使 VLM 能夠掃描壓縮影像，然後透過學習工具僅選擇性擴充套件相關影像到其未壓縮形式。
LensVLM 基於 Qwen3.5-9B-Base 構建，在 4.3 倍有效壓縮下保持了與全文本上限相當的準確率，並在七個文本 QA 基準測試中，最高達到 10.1 倍有效壓縮時優於檢索基線和文本/視覺壓縮基線。LensVLM 還泛化到多模態文件和程式碼理解任務，隨著壓縮增加，相對於基線的準確率提升也越來越大。我們的分析驗證了這種方法：訓練使視覺壓縮對渲染選擇更具魯棒性，並且隨著壓縮增加，模型越來越依賴擴充套件內容而非不可靠的視覺讀取。分析還提供了實用的工具選擇指導：對於渲染文本，文本擴充套件更可取；而對於佈局線索包含任務相關資訊的原生文件，高解析度影像擴充套件更合適。該研究由杜克大學和蘋果聯合進行，發表於 2026 年 7 月。
LensVLM 的核心創新在於其選擇性擴充套件機制。與傳統的固定解析度壓縮不同，LensVLM 允許模型在掃描壓縮影像後，僅對需要詳細理解的區域進行高解析度擴充套件，從而在保持高效壓縮的同時，避免了對所有區域進行全解析度處理帶來的計算開銷。這種設計類似於人類的視覺注意力機制，能夠將有限的計算資源集中在最重要的資訊上。實驗結果表明，LensVLM 在多種任務和壓縮比下均表現出色，特別是在高壓縮比下，其效能提升更為顯著，這證明了該方法的有效性和通用性。