近日一篇提交给首届计算发育语言学研讨会的非存档论文，从发育视角考察了Transformer语言模型在情境建模与心理化方面的能力发展轨迹。作者Pamela D. Rivière、Cameron Jones和Sean Trott追踪了Olmo2和Pythia两个语言模型系列在多个训练阶段中表现出的心理状态推理行为及其可能的前置条件。
研究背景源于近年来大量工作表明，大型语言模型能够对文本中描述的智能体的信念状态做出敏感反应，通常通过错误信念任务来测量。然而，这类测量是否真正捕捉到了心理化能力，即理解他人可能持有错误信念的能力，始终存在构念效度方面的担忧。为回应这些担忧，作者采取了一种发育学的框架，不仅关注模型最终是否通过错误信念任务，更关注这种能力在训练过程中如何逐步出现，以及哪些基础能力可能构成其先决条件。
主要发现包括几个方面。首先，模型在错误信念任务上达到高于随机水平的成绩，同时取决于模型规模和足够的训练数据量，并且这种能力在预训练阶段出现得相对较晚。其次，在后训练干预中，监督微调和直接偏好优化对错误信念任务表现的提升最为明显，尤其是在最具心理化诊断力的条件下，即内隐错误信念条件。然而，这种表现相当脆弱：与以往研究一致，使用非叙实动词会显著增加模型对错误信念的归因，即使在真实信念条件下也是如此。
为了给上述发现提供更丰富的背景，研究者还追踪了情境建模能力的出现。情境建模指的是模型报告所描述场景基本事实属性的能力，例如物品的位置或智能体的知识状态。结果显示，情境建模的准确率总体上先于并高于错误信念任务的准确率，这支持了情境建模可能是心理化的先决条件这一观点。
但情境建模本身也表现出令人意外的局限性。当被问及故事中反派智能体的知识状态时——该反派始终知道物品的真实位置——Olmo2 13b模型的判断会同时受到目标智能体知识状态和非叙实动词存在与否的显著影响。这种跨智能体的信息渗漏表明，模型构建的情境表征虽然在某种程度上是连贯的，但在特定条件下仍然会出现系统性偏差。
综合来看，这些结果表明，规模更大且训练充分的模型会按照发育上合理的顺序构建出部分连贯的情境模型，但同时也展现出令人惊讶的脆弱性。作者强调，发育视角和压力测试方法对于评估语言模型的能力具有重要价值，能够揭示传统静态基准测试所忽略的细微之处。该论文为理解大型语言模型如何逐步发展出社会认知相关能力提供了新的实验证据和概念框架。