視覺語言模型（VLM）為以渲染圖像形式處理文本提供了令人興奮的可能性，從而繞過了將文本標記化為長序列的需求。由於 VLM 圖像編碼器將固定大小的圖像映射到固定數量的視覺 token，改變渲染分辨率提供了一種細粒度的壓縮旋鈕。然而，隨着壓縮增加，準確率迅速下降：字符縮小到視覺編碼器的有效分辨率以下，使其難以區分。為了解決這一問題，我們提出了 LensVLM，這是一個推理框架和後訓練方案，使 VLM 能夠掃描壓縮圖像，然後通過學習工具僅選擇性擴展相關圖像到其未壓縮形式。
LensVLM 基於 Qwen3.5-9B-Base 構建，在 4.3 倍有效壓縮下保持了與全文本上限相當的準確率，並在七個文本 QA 基準測試中，最高達到 10.1 倍有效壓縮時優於檢索基線和文本/視覺壓縮基線。LensVLM 還泛化到多模態文檔和代碼理解任務，隨着壓縮增加，相對於基線的準確率提升也越來越大。我們的分析驗證了這種方法：訓練使視覺壓縮對渲染選擇更具魯棒性，並且隨着壓縮增加，模型越來越依賴擴展內容而非不可靠的視覺讀取。分析還提供了實用的工具選擇指導：對於渲染文本，文本擴展更可取；而對於佈局線索包含任務相關信息的原生文檔，高分辨率圖像擴展更合適。該研究由杜克大學和蘋果聯合進行，發表於 2026 年 7 月。
LensVLM 的核心創新在於其選擇性擴展機制。與傳統的固定分辨率壓縮不同，LensVLM 允許模型在掃描壓縮圖像後，僅對需要詳細理解的區域進行高分辨率擴展，從而在保持高效壓縮的同時，避免了對所有區域進行全分辨率處理帶來的計算開銷。這種設計類似於人類的視覺注意力機制，能夠將有限的計算資源集中在最重要的信息上。實驗結果表明，LensVLM 在多種任務和壓縮比下均表現出色，特別是在高壓縮比下，其性能提升更為顯著，這證明了該方法的有效性和通用性。