当Transformer学习“不可能”语言时，它们学到了什么？

近年来，有研究指出Transformer语言模型在学习人类语言时表现出一种“偏见”，即相对于那些被认为人类无法习得的“不可能”语言，模型更倾向于学习自然语言。然而，这些研究主要基于样本效率和测试集困惑度等指标，而非直接评估语言能力。为了更深入地理解这一现象，一项由Ram Janarthan等人进行的最新研究从两个理论上合理的假设出发进行了探索：语言的不可习得性究竟是源于语法敏感性的缺失，还是生成能力的不足？该论文于2026年6月29日提交至arXiv，并荣获CoNLL 2026最佳论文奖，标志着其在计算语言学领域的重要贡献。

研究人员采用GPT-2风格的模型，在英语的扰动变体上进行了训练。这些变体通过违反某些语言规则（例如违反普遍语法）被设计成“不可能”的语言。实验中，他们使用BLiMP最小对测试来评估模型对语法性的敏感性。结果发现，模型在语法敏感性上的表现随着语言信息的局部性变化而呈现逐渐退化，而非突然崩溃。这表明，模型对语法规则的掌握并非完全失效，而是随着语言结构的改变逐步减弱。这一发现挑战了先前认为模型对“不可能”语言完全无感的观点。

相比之下，模型在生成任务中表现出明显的失败。当要求生成长句子时，模型产生的高质量句子数量大幅下降，且句子长度越长，质量越低。这种生成能力的严重缺陷暗示了“不可能”语言之所以难以被人类习得，可能并非是因为人类无法理解其语法，而是因为人类难以有效生成和传播这样的语言。研究团队指出，生成缺陷和传播失败共同构成了一个合理的链接假说，将语言模型的行为与人类语言中“不可能”语言的缺失联系起来。

综合来看，该研究提出了一种新的链接假说：生成缺陷和传播失败是解释语言模型行为与人类语言不可习得之间关系的关键。这一发现不仅加深了我们对语言模型学习机制的理解，也为语言学中的“不可能”语言问题提供了计算层面的证据。该论文荣获了CoNLL 2026最佳论文奖，标志着其在计算语言学领域的重要贡献。未来研究可进一步探索不同模型架构和训练数据对这一现象的影响。