Transformer言語モデルにおける状況モデリングとメンタライジングの発達軌跡
本研究は発達的視点から、Olmo2およびPythia言語モデルにおける訓練段階を通じた誤信念課題（FBT）のパフォーマンスを調査。重要な結果：チャンス以上のFBT性能はモデルサイズと訓練量に依存し、事前訓練後期に現れ、事後訓練介入で最大に向上。しかしFBT性能は脆弱で、非事実動詞が誤信念帰属を増加させる。状況モデリングの精度は一般にFBTに先行し優れるが、一貫性に欠ける。大規模モデルは部分的に一貫した状況モデルを構築するが、驚くべき脆弱性を示す。
近年、大規模言語モデル（LLM）がテキストで記述されたエージェントの信念状態を感知できることを示す研究が増えているが、構成概念妥当性への懸念は残っている。新たな研究では、発達心理学的視点を採用し、Olmo2およびPythiaモデルスイートの複数の訓練段階にわたって、心的状態推論行動のパターンとその前提条件を追跡した。その結果、誤信念課題（FBT）において偶然以上のパフォーマンスを達成するには、モデルサイズと十分な訓練量の両方が必要であり、その能力は事前訓練の比較的後期に現れることが明らかになった。さらに、メンタライジングを最も診断する条件（誤信念、暗黙的）では、事後訓練介入（SFT、DPO）によって最も大きな改善が見られた。
しかしながら、FBTのパフォーマンスは脆弱である。過去の研究と一貫して、非事実動詞（例えば「思う」）を使用すると、真信念条件であっても誤信念帰属が増加する。これらの知見を文脈化するために、研究者は状況モデリングの出現を追跡した。状況モデリングとは、記述されたシーンの基本的な事実的特性を報告する能力である。状況モデリングの精度は一般的にFBT精度に先行し、それを上回るが、状況表象は特定の点で驚くほど非一貫性を示す。常にアイテムの真の位置を知っているアンタゴニストエージェントの知識状態を尋ねられたとき、Olmo2 13bはターゲットエージェントの知識状態と非事実動詞の存在の両方に一貫して影響を受ける。
まとめると、これらの結果は、より大規模で十分に訓練されたモデルが発達的に適切な順序で部分的に一貫した状況モデルを構築するが、驚くべき脆弱性を示すことを示唆している。このことは、LLMの能力を評価するための発達的およびストレステストアプローチの価値を強調している。本論文は第1回計算発達言語学ワークショップへの非アーカイブ投稿である。