大規模言語モデル（LLM）は自身の内部状態を検出し、報告できるのだろうか？最近のいくつかの研究は「はい」と答えているが、新たなarXiv論文がこの結論に疑問を投げかけている。Shashwat Singh氏ら3名によるこの論文は、2026年5月25日に投稿され、人間のメタ認知研究から得られた教訓に基づき、現時点での結論は時期尚早である可能性を主張している。
著者らの中心的な主張は、モデルが真の内省を行っているのか、それとも表面的な手がかりに基づくパターンマッチングを行っているのかを区別する必要がある、という点にある。行動証拠だけでは、強い内省的主張を確立するには本質的に不十分である。なぜなら、モデルは内部状態に実際にアクセスするのではなく、入力の異常を検出したり、タスクの意味論を利用したりすることで「正しく」回答している可能性があるからだ。
論文では、最近導入された2つの評価パラダイムを再検討している。最初のパラダイムでは、モデルは自身の内部状態が改ざんされたかどうかを検出することが期待される。しかし研究では、モデルが内部状態への介入と入力の操作を確実に区別できないことが判明した。これは、元の研究での成功が、内部状態への介入に特化した能力ではなく、より一般的な異常検出能力を反映していることを示唆している。
2番目のパラダイムでは、モデルは自身の隠れ状態から導出されたラベルを予測するタスクを与えられる。著者らは、入力のみにアクセスできる分類器が、モデル自身のコンテキスト内予測と同等の性能を達成することを発見した。これは、元の結果がモデルの内部表現への特権的アクセスを決定的に証明するものではないことを示している。
さらに著者らは、モデルがタスクの意味論に頼ることができず、内部表現に依存しなければならない再ラベル付け対照設定を導入した。このより制御されたバージョンでは、モデルの性能はチャンスレベルに近かった。
これらの結果を総合すると、現在の証拠はLLMがメタ認知的モニタリングを示すことを確立するには不十分である。この研究は、機械の内省能力を主張する前に、より厳密な実験設計と制御条件が必要であることを我々に警告している。