視覚言語モデル（VLM）は、ますます長い視覚トークン系列を言語バックボーンに供給することで知覚能力を向上させているが、その結果として推論コストが増大し、基本的なスケーリング上の疑問が生じる。マルチモーダルモデルが成長するにつれて、実際にどれだけの視覚トークンが必要なのか、そして固定された視覚トークン予算の下でそれらをどのように割り当てるべきなのか。既存の訓練不要のプルーニング手法は、通常、デコーダアテンション、視覚的類似性、条件付き多様性といったワンショットのプロキシでこの問題に答えようとする。しかし論文の著者らは、視覚トークンプルーニングは、特に積極的な圧縮とモデルスケール全体にわたる状況では、タスク条件付きの証拠探索として捉える方が適切だと主張している。
この問題に対処するため、研究者らはF^3Aを提案した。これは訓練不要の視覚トークンルーターであり、言語モデルが画像トークンを消費する前に動作する。F^3Aはまず軽量な質問条件付きの手がかりを構築し、次に凍結されたスパースセンシングヘッドを介してそれらを視覚グリッドトークンと照合し、最後に粗い証拠定位、局所的な refinement、カバレッジを維持する競争、およびカバレッジ不足領域の回復を通じて、固定された視覚トークン予算を割り当てる。この方法はモデル訓練を必要とせず、追加のLLMフォワードパスも不要で、元のマルチモーダルプロンプトとデコーディングパイプラインを保持する。
本論文は2026年5月9日に投稿され、YiJie Huangら10名の著者によるもので、コンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）の分野に属する。論文の要約によれば、F^3Aの核心的な革新は、プルーニングプロセスを質問に基づく証拠探索として再定義することで、圧縮率やモデル規模が変化してもロバスト性を維持できる点にある。単一のプロキシに依存する方法とは異なり、F^3Aは多段階のトークン割り当て戦略により、固定予算の下で質問に答えるために重要な情報をより効果的に保持する。
具体的には、F^3Aのワークフローは4つのステップで構成される。まず、質問を利用して軽量な条件付き手がかりを構築する。次に、スパースセンシングヘッドを介してこれらの手がかりを視覚グリッドトークンと照合し、粗い証拠定位を実現する。その後、局所領域で refinement を行い、より細かい詳細を捉える。続いて、カバレッジを維持する競争により、選択されたトークンが空間的に均一に分布することを保証し、局所への過度な集中を避ける。最後に、カバレッジが不足している領域を回復し、全体的なコンテキストを維持する。この設計により、F^3Aは異なる圧縮率の下で最も重要な視覚トークンを適応的に選択できる。
F^3Aは完全に訓練不要で追加のLLMフォワードパスも増やさないため、モデルアーキテクチャの変更や再訓練なしに既存のマルチモーダルモデルにシームレスに統合できる。これは、実際の展開において推論コストを削減するための実用的なソリューションを提供しつつ、モデルの性能を維持する。論文はまた、モデルスケール全体にわたるスケーラビリティを強調しており、小規模から大規模までさまざまなVLMに適用できる可能性がある。
全体として、F^3Aは視覚トークンプルーニングをタスク条件付き証拠探索として捉えることで、固定視覚トークン予算の下でトークンを効率的に割り当てる新しい訓練不要ルーターを提案し、マルチモーダル言語モデルの推論効率向上に新たな道を開く。この研究はarXivに掲載され、番号は2605.16359で、PDFとHTML版が提供されている。