OmniToM: 明示的な信念モデリングによるLLMの心の理論のベンチマーク

心の理論（Theory of Mind, ToM）とは、他者の知識、意図、感情を推論する能力であり、人工知能研究における重要なテーマです。大規模言語モデル（LLM）の台頭に伴い、そのToM能力を評価する試みが行われてきましたが、従来の手法は最終的な回答のみに着目しており、モデルが本当に心的状態の表現を構築しているかどうかを検証できていませんでした。特に、意見が分かれる状況や信念が変化する状況、誤った信念が含まれるシナリオでは、この欠点が顕著になります。

この研究ギャップを埋めるため、複数の研究機関の研究者らはOmniToMベンチマークを導入しました。OmniToMの最大の特徴は、物語内のすべての登場人物について、信念の構造を明示的にモデル化するよう要求する点です。信念構造は「信念命題」で構成され、これは「登場人物が世界や他者の心的状態について真実だと信じていること」を最小単位で表します。知識、意図、感情、誤信念が統一形式で分析可能になります。例えば、あるキャラクターが別のキャラクターの信念についての信念（再帰的信念）を持つ場合も、OmniToMはその階層を明確に捉えます。

評価は二段階で行われます。第一段階は信念抽出で、物語から社会的ダイナミクスに関連する信念を抽出します。第二段階は信念ラベリングで、各信念に7次元のスキーマラベル（再帰次数、真偽状態、知識アクセス、明示性、内容タイプ、心的ソース、コンテキスト）を付与します。再帰次数は信念の入れ子の深さ、真偽状態は正しい信念と誤信念の区別、知識アクセスはキャラクターが特定の情報を持っているかどうか、明示性は信念が明示的に述べられているか暗黙的か、内容タイプは信念が事実に関するものか心的状態に関するものか、心的ソースは信念の原因、コンテキストは信念が生じた状況をそれぞれ示します。この多次元ラベリングにより、信念の性質を深く分析できます。

OmniToMは既存のToMBenchコーパスから得た895のストーリーを基に、22,343のラベル付き信念命題を追加して構築されました。アノテーションパイプラインは人間の校正を経たLLM支援方式を採用しており、まずLLMが予備ラベリングを行い、その後人間が修正・検証することで、効率と精度のバランスを取っています。ゼロショット評価では、GPT-4、Claude、Llamaなどの主要なLLMをテストしました。結果は一貫して、現在のLLMに「登場人物別の信念追跡ボトルネック」が存在することを示しました。具体的には、モデルは物語の事実を登場人物の信念や共有された心的状態に変換する際、知識アクセスや表象決定に困難を抱えています。例えば、キャラクター間の信念の違いを区別できなかったり、他者の信念に関する信念を正確にモデル化できなかったりします。この発見は、LLMが多くの言語タスクで優れた性能を発揮する一方で、深層的な心の推論にはまだ改善の余地があることを示唆しています。

OmniToMの提案は、LLMのToM能力をより精密に評価するツールを提供するだけでなく、将来の研究方向性を示しています。心的状態の明示的な表現を構築できるモデルの開発を促進し、人工知能の社会的知能の向上に貢献することが期待されます。さらに、OmniToMの評価フレームワークは多言語シナリオに拡張可能であり、対話エージェントや協働ロボットなど、社会的推論を必要とするAIシステムへの応用が考えられます。