LensVLM：选择性上下文扩展实现文本的压缩视觉表示
LensVLM 是一种推理框架和后训练方案，使视觉语言模型（VLM）能够扫描压缩图像，并通过学习工具仅选择性扩展相关图像到未压缩形式。在 Qwen3.5-9B-Base 基础上，LensVLM 在 4.3 倍有效压缩下保持了与全文本上限相当的准确率，在 7 个文本 QA 基准测试中最高达 10.1 倍有效压缩时优于检索基线和文本/视觉压缩基线。该方法还泛化到多模态文档和代码理解任务，且压缩越大，准确率提升越明显。
视觉语言模型（VLM）为以渲染图像形式处理文本提供了令人兴奋的可能性，从而绕过了将文本标记化为长序列的需求。由于 VLM 图像编码器将固定大小的图像映射到固定数量的视觉 token，改变渲染分辨率提供了一种细粒度的压缩旋钮。然而，随着压缩增加，准确率迅速下降：字符缩小到视觉编码器的有效分辨率以下，使其难以区分。为了解决这一问题，我们提出了 LensVLM，这是一个推理框架和后训练方案，使 VLM 能够扫描压缩图像，然后通过学习工具仅选择性扩展相关图像到其未压缩形式。
LensVLM 基于 Qwen3.5-9B-Base 构建，在 4.3 倍有效压缩下保持了与全文本上限相当的准确率，并在七个文本 QA 基准测试中，最高达到 10.1 倍有效压缩时优于检索基线和文本/视觉压缩基线。LensVLM 还泛化到多模态文档和代码理解任务，随着压缩增加，相对于基线的准确率提升也越来越大。我们的分析验证了这种方法：训练使视觉压缩对渲染选择更具鲁棒性，并且随着压缩增加，模型越来越依赖扩展内容而非不可靠的视觉读取。分析还提供了实用的工具选择指导：对于渲染文本，文本扩展更可取；而对于布局线索包含任务相关信息的原生文档，高分辨率图像扩展更合适。该研究由杜克大学和苹果联合进行，发表于 2026 年 7 月。
LensVLM 的核心创新在于其选择性扩展机制。与传统的固定分辨率压缩不同，LensVLM 允许模型在扫描压缩图像后，仅对需要详细理解的区域进行高分辨率扩展，从而在保持高效压缩的同时，避免了对所有区域进行全分辨率处理带来的计算开销。这种设计类似于人类的视觉注意力机制，能够将有限的计算资源集中在最重要的信息上。实验结果表明，LensVLM 在多种任务和压缩比下均表现出色，特别是在高压缩比下，其性能提升更为显著，这证明了该方法的有效性和通用性。