arXivで公開された新しい論文「Hierarchical Visual Agent: Managing Contexts in Joint Image-Text Space for Advanced Chart Reasoning」では、高度なチャート推論のための階層的ビジュアルエージェントフレームワーク「HierVA」が提案されています。本研究成果はACL 2026に採択されました。
既存のマルチモーダル大規模言語モデル（MLLM）は単一のプロットの理解に優れていますが、複数のサブプロットにわたる多段階推論には苦戦することが多いです。例えば、異なるサブプロット間のデータ比較や論理的な推論を必要とするタスクでは、MLLMは重要なコンテキストを見失ったり、誤った結論を導いたりすることがあります。HierVAは、この問題に対処するために階層的なエージェントシステムを導入します。システムは上位マネージャーと複数の専門ワーカーで構成されます。マネージャーは推論計画を立案し、重要な情報のみを含むコンパクトなコンテキストを維持します。ワーカーは具体的な推論タスクを実行し、視覚的な証拠を収集して結果を返します。
特に注目すべき点は、HierVAが視覚コンテキストとテキストコンテキストを個別に保持し、ズームインツールを使用して視覚コンテキストの範囲を動的に制限することです。これにより、エージェントは最も関連性の高い視覚領域に集中しつつ、タスク全体の構造を理解することができます。
研究者らはCharXiv推論サブセットで実験を行い、HierVAがすべての評価指標において強力なマルチモーダルベースラインモデルを一貫して上回ることを示しました。さらに、アブレーション研究により、階層アーキテクチャが長期的な計画立案のための構造を提供し、限定視覚コンテキストがノイズを低減し、蒸留コンテキストが情報圧縮によって意思決定効率を向上させるという、三つの設計要素の相補的な利得が確認されました。
本研究は複雑なチャート質問応答タスクに新たな解決策を提供し、その階層的管理とコンテキスト最適化戦略は、科学文献理解や自動レポート生成など、多段階視覚推論を必要とする他の応用シナリオにも展開可能と期待されます。