PerceptionBench：マルチモーダル大規模言語モデルにおける原子視覚知覚の評価

PerceptionBenchは、マルチモーダル大規模言語モデル（MLLM）の原子視覚知覚能力を体系的に評価するために設計されたベンチマークです。既存のベンチマークには、知覚を分離できないという欠陥があります。全体的な評価では知覚エラーと推論やドメイン知識の失敗が混同され、アプリケーション駆動のベンチマークはヒューリスティックな設計に基づく狭く断片的な領域しかカバーしません。これらの限界を克服するため、研究チームはボトムアップアプローチを採用し、42の既存ベンチマークにおける最先端MLLMの応答の最初の失敗点を診断することでエラータクソノミを構築しました。その知覚ブランチは、色知覚、形状知覚、空間関係知覚、テクスチャ知覚、大きさ知覚、方向知覚、数量知覚、運動知覚、明るさ知覚、パターン知覚の10の原子知覚能力を定義しています。このタクソノミに基づき、各質問が単一の能力を分離し、難易度が推論や知識ではなく知覚に由来する、短く明確な回答を持つ3000の検証済み質問が作成されました。16の最先端MLLMでのベンチマーク結果は、原子知覚がほとんど解決されていないことを示しています。どのモデルも60%の精度に達しておらず、知覚関連の幻覚は平均的に最も弱い能力です。さらに、類似した全体的なスコアは、モデル間で大きく異なる能力プロファイルを隠蔽しています。例えば、空間知覚に優れているが色知覚に弱いモデルも存在します。PerceptionBenchは、MLLMの視覚知覚限界を測定・診断するための能力レベルの標準を提供します。このベンチマークの公開により、研究者はモデルの知覚ボトルネックを特定し対処する新たな視点を得られます。将来的には、知覚カテゴリの拡張、動的シーンの導入、推論能力との相互作用の探求が計画されています。この研究は、より信頼性が高く強力な視覚基盤モデルの開発に重要な意義を持ちます。同時に、現在のMLLMの低レベル視覚知覚における限界を明らかにし、今後のモデル改善の方向性を示しています。