PerceptionBench：マルチモーダル大規模言語モデルにおける原子的視覚知能の評価
PerceptionBench は、マルチモーダル大規模言語モデルの原子的視覚知能を分離して評価する新しいベンチマークです。42の既存ベンチマークにおけるモデルの失敗から導き出された10の原子的知覚カテゴリに基づき、3,000の検証済み質問で構成されています。最先端モデルでも正答率60％に達しておらず、知覚関連の幻覚が平均的に最も弱い能力です。このベンチマークは、視覚知覚がどこで破綻するかを明らかにし、忠実で一貫したマルチモーダルAIの進歩を促進することを目的としています。
Kimi チームは、マルチモーダル大規模言語モデル（MLLM）の原子的視覚知能を正確に評価するための新しいベンチマーク「PerceptionBench」を公開しました。従来の総合性能重視のベンチマークとは異なり、PerceptionBench は視覚知覚を基礎能力に分解し、それぞれを厳密にテストします。
このベンチマークの特徴は、その分類体系が事前に定義されるのではなく、モデルの実際の失敗から帰納的に導き出された点にあります。研究チームは42の既存ベンチマークにおける最先端モデルの全エラーを分析し、最初の誤りステップまで遡ることで、10の原子的知覚能力（視覚関係、計数、属性、奥行きと3D、位置特定、比較、細粒度認識、文脈統合、OCR、幻覚）を特定しました。この分類に基づき、3,000の検証済み質問からなるテストセットが構築されました。質問の60％はモデル失敗事例の分解に由来し、40％は新規作成です。各質問は、推論や外部知識を必要とせず、視覚的な知覚のみで回答できるよう設計されています。
PerceptionBench による評価結果は示唆に富んでいます。16の最先端マルチモーダル大規模言語モデルの中で、正答率60％を超えるモデルは一つもありませんでした。平均的に、知覚関連の幻覚が最も弱い能力であることが判明しました。特筆すべきは、全体的なスコアがほぼ同じモデルでも、実際の知覚能力に大きな差があることです。これは、総合スコアだけでは視覚知覚の真の欠陥を把握できないことを示しています。
ベンチマークには多様な問題例が含まれています。例えば、視覚位置特定タスクでは、時計の文字盤におけるジェミニシンボルの位置から具体的な時刻を回答する必要があります。奥行きと3Dタスクでは、シーン内の物体の前後関係を判断します。幻覚タスクでは、画像内に実際に存在しない物体の数を正確に答えることが求められます。これらの一見単純な問題は、モデルの視覚知覚能力に厳しい挑戦を突きつけます。
PerceptionBench の開発チームは、単一または少数のベンチマークでは知覚エラーのごく一部しか捉えられず、それらの断片間の重複も限定的（平均ペアワイズ加重Jaccard係数0.20）であると指摘します。そのため、能力中心でこれらの断片的な視点を集約・再バランスするベンチマークが不可欠です。標準化された評価フレームワークを提供することで、PerceptionBench はマルチモーダルAIの視覚知覚における実質的な進歩を促進することが期待されます。
現在、PerceptionBench のデータセットと評価コードはGitHubでオープンソース化されており、世界中の研究者が利用できます。チームは、このベンチマークが視覚知覚のボトルネックを理解し解決するコミュニティの取り組みを支援し、最終的により信頼性が高く一貫したマルチモーダル視覚理解の実現に貢献することを願っています。