arXiv に 2026 年 6 月 4 日投稿された論文「WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark」は、Yida Yin 氏ら 12 名による研究で、コンピュータビジョンとパターン認識（cs.CV）に分類されています。本論文は、多様な視覚入力を扱うマルチモーダル大規模言語モデル（MLLM）の推論能力を評価するための、困難で視覚的多様性に富む新しいベンチマーク「WorldBench」を提案しています。
論文によると、実世界のアプリケーションではモデルが多様な設定で信頼性高く動作することが求められますが、既存のマルチモーダルベンチマークの多くはタスクの種類を増やすだけで、オープンエンドな視覚入力に対処するために必要な視覚的多様性を捉えていません。そこで研究チームは、生物などの複数領域にわたる数千の視覚概念の分類体系を構築しました。この分類体系に基づき、検索エンジンや既存データセットから幅広く画像を収集し、視覚世界を包括的に表現しています。構造化された試行錯誤を通じて、最先端の MLLM でも答えられない難しい質問を手動で設計しました。
定量的および人間による評価では、WorldBench が既存の多様なベンチマークよりも高い視覚的多様性を達成しています。15 の MLLM を WorldBench で評価した結果、視覚理解の弱点が明らかになりました。最も強いモデルでも精度は 64.0% にとどまり、一部のモデルはチャンスレベルをわずかに上回る程度でした。著者らは、この研究がマルチモーダルベンチマーク構築における視覚的多様性の重要性を強調することを望んでいます。
WorldBench の特徴は、単にタスクを増やすのではなく、視覚概念の分類体系に基づいて画像を収集し、多様性を定量的に評価している点にあります。手動で設計された質問は、モデル間の能力差を明確に区別できるよう調整されています。評価結果は、現在の MLLM が視覚的多様性に対応する上で依然として大きな課題を抱えていることを示しており、今後の研究方向を示唆しています。
論文のプロジェクトページでは、ベンチマークの構築方法や評価プロトコルを含む詳細が公開されています。著者チームは複数の機関に所属し、マルチモーダル推論評価の発展に共同で取り組んでいます。本作業は arXiv で公開され、コミュニティによるアクセスと引用が可能です。