視覚言語モデル（VLM）は、テキストをレンダリング画像として処理するエキサイティングな可能性を提供し、テキストを長いトークンシーケンスにトークン化する必要をなくします。VLM 画像エンコーダは固定サイズの画像を固定数の視覚トークンにマッピングするため、レンダリング解像度を変えることで細かい圧縮の調整が可能です。しかし、圧縮が増加すると精度は急速に低下します。文字が視覚エンコーダの実効解像度を下回り、区別できなくなるからです。この問題に対処するため、我々は LensVLM を提案します。これは、VLM が圧縮画像をスキャンし、学習されたツールを介して関連する画像のみを非圧縮形式に選択的に拡張できるようにする推論フレームワークおよびポストトレーニングレシピです。
LensVLM は Qwen3.5-9B-Base 上に構築され、4.3 倍の実効圧縮で全テキストの上限と同等の精度を維持し、7 つのテキスト QA ベンチマークにおいて、最大 10.1 倍の実効圧縮まで検索ベース、テキスト圧縮、視覚圧縮のベースラインを上回ります。また、マルチモーダル文書およびコード理解タスクにも一般化され、圧縮が大きくなるにつれてベースラインに対する精度向上が大きくなります。我々の分析はこのアプローチを検証しています。トレーニングにより視覚圧縮はレンダリングの選択に対してロバストになり、圧縮が増加するにつれて、モデルは信頼できない視覚読み取りではなく拡張されたコンテンツにますます依存するようになります。分析はまた実用的なツール選択のガイダンスを提供します。レンダリングされたテキストにはテキスト拡張が適しており、レイアウトの手がかりがタスク関連情報を伝えるネイティブ文書には高解像度画像拡張が適しています。この研究はデューク大学と Apple の共同研究であり、2026 年 7 月に発表されました。
LensVLM の選択的拡張メカニズムは、その重要な革新点です。従来の固定解像度圧縮とは異なり、LensVLM は圧縮画像をスキャンした後、詳細な理解が必要な領域のみを高解像度で拡張することを可能にし、効率的な圧縮を維持しながら、全領域をフル解像度で処理する際の計算オーバーヘッドを回避します。この設計は人間の視覚的注意メカニズムに類似しており、限られた計算リソースを最も重要な情報に集中させることができます。実験結果は、LensVLM が様々なタスクと圧縮率で優れた性能を発揮し、特に高圧縮率では性能向上が顕著であることを示しており、この手法の有効性と汎用性を証明しています。