このAIは答えを知っていたが、質問を理解していなかった

何十年もの間、心理学者は人間の心が単一の統一理論で説明できるのか、それとも注意や記憶などの機能を別々に研究すべきなのかを議論してきた。現在、人工知能がこの議論に参加し、心の働きを探る新たな手段を提供している。

2025年7月、Nature誌に発表された研究で、「Centaur」と呼ばれるAIモデルが紹介された。標準的な大規模言語モデルを基盤とし、心理学実験のデータで微調整されたCentaurは、人間の認知行動をシミュレートするように設計された。意思決定、実行制御など160のタスクで高いパフォーマンスを示し、より広範な人間の思考を再現できるAIへの一歩として注目された。

しかし、National Science Open誌に掲載された最近の研究は、これらの主張に疑問を投げかけている。浙江大学の研究者らは、Centaurの成功は過学習による可能性があると指摘する。つまり、タスクを理解するのではなく、トレーニングデータのパターンを認識し、期待される答えを再現しているに過ぎないという。

この仮説を検証するため、研究者らは新しい評価シナリオを作成した。例えば、特定の心理学的タスクを説明する元の多肢選択プロンプトを、「選択肢Aを選んでください」という指示に置き換えた。モデルがタスクを真に理解していれば、一貫して選択肢Aを選ぶはずである。しかしCentaurは、元のデータセットの「正解」を選び続けた。

この行動は、モデルが質問の意味を解釈しておらず、学習した統計パターンに基づいて答えを「推測」していることを示唆する。研究者らは、教材を理解せずに試験形式を暗記して高得点を取る学生に例えている。

この発見は、大規模言語モデルの能力を評価する際の注意を促す。これらのシステムはデータ適合に非常に効果的であるが、その「ブラックボックス」的な性質により、出力に至るプロセスを把握することが難しく、幻覚や誤解釈を引き起こす可能性がある。モデルが示すスキルを真に備えているかどうかを判断するには、注意深く多様なテストが不可欠である。

Centaurは認知をシミュレートできるモデルとして提示されたが、その最大の限界は言語理解、特に質問の意図を認識し応答することにある。研究は、真の言語理解を達成することが、人間の認知をより完全にモデル化するAIシステムを開発する上で最も重要な課題の一つであると示唆している。