ACL 2026で発表された論文「GroupToM-Bench: Benchmarking Group Theory of Mind and Nonlinear Social Emergence in MLLMs」において、Weidong Tang氏ら10名の著者チームが、マルチモーダル大規模言語モデル（MLLM）の集団レベルでの心の理論（Group Theory of Mind）を評価する初のベンチマークを提案しました。心の理論とは、他者の信念や意図などの心的状態を推論する能力です。個々のレベルではMLLMも目覚ましい進歩を遂げていますが、集団行動は社会的緊張、同調ダイナミクス、構造的制約から非線形的に創発するため、単なる個人の意図の合計では捉えられません。
GroupToM-Benchは、ミクロレベルのBDI状態（信念、欲望、意図）、メゾレベルの集団的緊張と構造的制約、そしてマクロレベルの結果予測とメカニズム帰属からなる因果連鎖に基づいて設計されています。この因果連鎖を完全に探求するために、研究者らは7段階の認知監査フレームワークを開発しました。このフレームワークは、個々のBDIの推論から始まり、徐々に集団の相互作用要素を導入し、最終的には完全な因果連鎖に基づいた集団行動の予測とそのメカニズムの説明をモデルに要求します。
実験の結果、GPT-4Vなどの最先端MLLMは、集団レベルの心の理論タスクにおいて人間のベースラインに遠く及ばないことが明らかになりました。特に、社会的な緊張や構造的制約を伴うタスクでは、モデルが重要な社会的な手がかりを見落とし、予測が現実から大きく乖離することが示されました。モデルは社会構造の認知と非線形的な集団ダイナミクスの処理に重大な欠陥を抱えており、複数の情報を統合し複雑な相互作用を理解する必要がある場面で特にその傾向が顕著でした。
このベンチマークの公開は、今後の研究の方向性を示すものとして重要です。真の汎用人工知能を実現するためには、物理世界のモデルだけでなく、複雑な社会相互作用を推論できる社会世界モデルの構築が必要であることを強調しています。GroupToM-Benchは、現在の評価システムにおける重要な空白を埋めるものであり、MLLMの社会的知能の向上を促進することが期待されます。本論文は2026年6月2日にarXivで公開され、ACL 2026に採択されています。