當Transformer學習“不可能”語言時，它們學到了什麼？

近年來，有研究指出Transformer語言模型在學習人類語言時表現出一種“偏見”，即相對於那些被認為人類無法習得的“不可能”語言，模型更傾向於學習自然語言。然而，這些研究主要基於樣本效率和測試集困惑度等指標，而非直接評估語言能力。為了更深入地理解這一現象，一項由Ram Janarthan等人進行的最新研究從兩個理論上合理的假設出發進行了探索：語言的不可習得性究竟是源於語法敏感性的缺失，還是生成能力的不足？該論文於2026年6月29日提交至arXiv，並榮獲CoNLL 2026最佳論文獎，標誌著其在計算語言學領域的重要貢獻。

研究人員採用GPT-2風格的模型，在英語的擾動變體上進行了訓練。這些變體透過違反某些語言規則（例如違反普遍語法）被設計成“不可能”的語言。實驗中，他們使用BLiMP最小對測試來評估模型對語法性的敏感性。結果發現，模型在語法敏感性上的表現隨著語言資訊的區域性性變化而呈現逐漸退化，而非突然崩潰。這表明，模型對語法規則的掌握並非完全失效，而是隨著語言結構的改變逐步減弱。這一發現挑戰了先前認為模型對“不可能”語言完全無感的觀點。

相比之下，模型在生成任務中表現出明顯的失敗。當要求生成長句子時，模型產生的高質量句子數量大幅下降，且句子長度越長，質量越低。這種生成能力的嚴重缺陷暗示了“不可能”語言之所以難以被人類習得，可能並非是因為人類無法理解其語法，而是因為人類難以有效生成和傳播這樣的語言。研究團隊指出，生成缺陷和傳播失敗共同構成了一個合理的連結假說，將語言模型的行為與人類語言中“不可能”語言的缺失聯絡起來。

綜合來看，該研究提出了一種新的連結假說：生成缺陷和傳播失敗是解釋語言模型行為與人類語言不可習得之間關係的關鍵。這一發現不僅加深了我們對語言模型學習機制的理解，也為語言學中的“不可能”語言問題提供了計算層面的證據。該論文榮獲了CoNLL 2026最佳論文獎，標誌著其在計算語言學領域的重要貢獻。未來研究可進一步探索不同模型架構和訓練資料對這一現象的影響。