信念と現実の分離は言語モデルの共有値スロットに対するルーティングに存在する
本論文は、言語モデルがキャラクターの信念と現実をどのように区別するかを明らかにする。研究によると、この分離は2つの分離可能なメカニズムに依存している:汎用値スロットが属性値をバインドし、ルーターがクエリに応じて読み取るフレーム(信念か現実か)を選択する。スロットは直接アサートされるか、可視性に基づくルックバックによって埋められる。分離はスロット自体ではなく、独立したルーティング部分空間に存在する。これらの結果は複数のアーキテクチャで検証され、3Bから7Bパラメータの間で出現する。
最新の研究では、大規模言語モデルが計算の中でキャラクターの信念と現実をどのように分離しているかが詳細に調査された。研究者らは、この分離が計算の異なる位置にある2つの分離可能なメカニズムに依存していることを発見した。まず、汎用的な「値スロット」が属性値(例えばカップの色)をバインドする。次に、「ルーター」がクエリ位置で、キャラクターの信念か現実かというフレームから読み取るかを決定する。
値スロットの充填には2つの方法がある:信念が直接述べられている場合は値が直接バインドされ、信念がキャラクターの観察可能な情報から推論される必要がある場合は、可視性によって制御されるルックバック機構によって値が届けられる。興味深いことに、スロット自体は信念や現実のタグを持たず、スロットへの介入は現実の読み取りと信念の読み取りに同程度影響する。実際の分離は、一対の独立したルーティング部分空間に存在し、これらの部分空間はドナーの値を注入せずにクエリをフレーム間で切り替える。
この結果は3つの異なるモデルアーキテクチャで検証され、使用された刺激は一般的な心の理論ベンチマークのショートカットを排除したものである。この行動は5つのモデルファミリーの3Bから7Bパラメータの間で出現する。本論文は単一の信念-現実軸を深く掘り下げており、姉妹論文では、同じスロット・ルーター形式が文が開く他の非現実的な文脈(反事実、フィクション、時間)でも共有されていることを示している。
この研究は、言語モデルの内部動作メカニズムの理解に重要な洞察を提供し、モデルがキャラクターの信念と現実の複数の表現を維持する方法を明らかにしている。研究チームはOliver Steele氏を含む著者らで、論文の詳細は21ページ、6図、6表であり、2026年7月11日に提出された。