近年、マルチモーダル大規模言語モデル（MLLM）はマルチターン視覚推論タスクで優れた性能を示しているが、研究者らは目標位置特定の失敗が繰り返し発生し、冗長な推論軌跡を生む問題を発見した。この問題は、推論と知覚が単一モデルに絡み合っていることに起因する。モデルが推論と位置特定を同時に行い、不正確な位置特定が追加の推論ステップを誘発するため、軌跡が膨張してしまう。
この課題を根本的に解決するため、複数の研究機関からなるチームはPixelEyesを提案した。PixelEyesは推論と知覚を明確に分離したマルチターン視覚推論エージェントである。PixelEyesでは、推論器が「何を探すか」を決定し、専用の知覚ツールが「どこにあるか」を答える。具体的には、マスク誘導視覚探索と意味領域幅優先探索（BFS）の2つの主要技術を導入する。マスク誘導視覚探索は参照分割モデルを呼び出してピクセルレベルの正確な位置特定を提供し、推論器が不正確なグラウンディングを補償する必要をなくす。意味領域幅優先探索は、探索プロセスを意味領域に対するBFSとして組織化し、誤ったサブ領域の繰り返しトリミングによる冗長ループを排除する。
これらの能力をモデルに内在化させるため、チームはPixelEyes-6Kデータセットを構築した。既存データから専門家の軌跡を再合成し、マスク誘導探索とBFSロジックをモデルに明示的に埋め込んだ。さらに、Pinpoint-Benchというゼロヒント視覚探索ベンチマークを導入した。このベンチマークでは質問に位置情報の手がかりが一切含まれず、インスタンスレベルのマスクとバウンディングボックスにより位置特定の失敗と推論の失敗を分離し、「非注意性盲目」などの失敗モードの詳細な分析を可能にする。
実験結果は、現在の最先端のマルチモーダル大規模言語モデルと視覚推論エージェントがPinpoint-Benchで大きな性能向上の余地を残していることを示しており、ベンチマークの質と難易度を証明している。研究チームはコードとモデルをオープンソース化しており、視覚推論分野の発展に強力なツールを提供する。PixelEyesの提案は、マルチターン視覚推論における位置特定問題の効率的な解決策を提供するだけでなく、将来の研究における知覚と推論の分離の重要性を示す新たな視点をもたらす。この研究は、現在のMLLMが視覚推論において抱える根本的な限界を明らかにし、それを克服するための再現可能なフレームワークを提供する点で意義深く、より信頼性が高く効率的な視覚エージェントシステムの開発を促進することが期待される。