Transformer言語モデルがテキストで記述されたエージェントの信念状態をどのように扱うかを、訓練の進行に沿って発達的に調べた論文が公開された。著者のPamela D. Rivière、Cameron Jones、Sean Trottは、Olmo2とPythiaという2つの言語モデルシリーズを対象に、複数の訓練段階を横断して、メンタル状態推論の行動パターンとその前提条件と考えられる能力の出現過程を追跡した。この研究は第1回計算発達言語学ワークショップへの非アーカイブ投稿として提出されている。
背景には、大規模言語モデルが誤信念課題においてチャンスレベルを超える成績を示すという近年の報告がある。しかし、その成績が本当にメンタライジング、すなわち他者が現実と異なる信念を持ちうることを理解する能力を反映しているのかという構成概念妥当性への懸念が根強く残っている。そこで著者らは、モデルが最終的に課題を通過するかどうかだけでなく、その能力が訓練のどの段階で、どのような基礎能力に支えられて出現するのかに注目する発達的アプローチを採用した。
主な知見は以下の通りである。第一に、誤信念課題でチャンスを超える成績を達成するには、モデルの規模と十分な訓練量の両方が必要であり、この能力は事前訓練の比較的遅い段階で出現する。第二に、事後訓練の介入、特に教師あり微調整と直接選好最適化は、メンタライジングを最も診断的に測る条件である内隠的誤信念条件において、成績を最も改善する。しかし、この成績は頑健ではない。先行研究と一致して、非叙実動詞の使用は、真の信念条件においてさえ誤信念の帰属を増加させる。
こうした知見を文脈化するため、研究者らは状況モデリングの出現も追跡した。状況モデリングとは、記述された場面の基本的な事実的属性、たとえば物体の位置やエージェントの知識状態を報告する能力を指す。結果として、状況モデリングの精度は一般に誤信念課題の精度に先行し、それを上回ることが示された。これは状況モデリングがメンタライジングの前提条件である可能性を支持する。
一方で、状況モデリング自体にも意外な限界があることが明らかになった。物語中の敵対エージェントの知識状態について尋ねた場合、このエージェントは常に物体の真の位置を知っているにもかかわらず、Olmo2 13bモデルの判断は、標的エージェントの知識状態と非叙実動詞の有無の両方に一貫して影響を受けた。このようなエージェント間の情報漏洩は、モデルが構築する状況表象が一定程度は一貫しているものの、特定の条件下では系統的な偏りを示すことを意味する。
総合すると、これらの結果は、より大規模で十分に訓練されたモデルが発達的に妥当な順序で部分的に一貫した状況モデルを構築するものの、同時に驚くべき脆弱性を露呈することを示している。著者らは、言語モデルの能力評価において発達的視点とストレステストの手法が重要であると強調しており、従来の静的なベンチマークでは見落とされがちなニュアンスを明らかにできるとしている。本論文は、大規模言語モデルが社会的認知に関わる能力をどのように発達させるかを理解するための新たな実験的証拠と概念的枠組みを提供するものである。