一篇新論文《我如何知道接下來該説什麼?巴倫霍爾茨的自生成理論對哈里斯整合論的豐富》由J. Mark Bishop和Stephen J. Cowley撰寫,提出了一個引人注目的綜合。該文認為,埃蘭·巴倫霍爾茨的自生成語言理論可以有效地填補羅伊·哈里斯整合主義語言學中的關鍵解釋空白,同時不削弱其核心主張。
整合主義語言學對計算語言學中根深蒂固的指稱主義傳統提出了有力批判,認為語言並非映射到預先給定世界的代碼,而是一種情境性的、雙向的活動,旨在促進未來的聯合行動。然而,整合主義存在顯著不足:它未能完全解釋符號維持前瞻開放性的結構機制;對語言與非語言符號活動之間的連續性理論化不足;也未提供關於過去整合積累檔案的結構特性的詳細解釋。
巴倫霍爾茨的自生成理論最初是為了回應大型語言模型的行為而發展起來的,它恰好填補了這些空白。該理論提供了:哈里斯所強調的雙向交流中前瞻開放性的結構機制;哈里斯關於語言與其他符號活動之間符號連續性論點的計算對應物;以及一個關於檔案的理論——即過去整合的累積殘餘是什麼樣子的,新參與者如何利用它。
這一綜合保留了哈里斯關於情境整合行為本體優先性的觀點,同時增加了整合主義本身未能提供的解釋性內容。對於自然語言處理和大型語言模型設計的從業者和研究人員來説,這一論證提供了一個有原則的説明,解釋了LLM所有效利用的統計結構實際上是什麼,以及它本質上無法提供什麼。該論文已提交給《哲學與技術》期刊。
論文的作者指出,整合主義的批判雖有力,但其解釋力受限。自生成理論通過提供具體的結構機制和計算模型,使得整合主義的概念更加可操作。例如,前瞻開放性的結構機制解釋了符號如何在交流中保持開放,而不是預先確定。語言與非語言符號的連續性通過計算模型得以形式化。檔案理論則揭示了過去整合的累積如何影響當前行為。這些貢獻不僅豐富了整合主義,也為理解LLM的工作原理提供了新視角。
對於AI研究者而言,該綜合意味着LLM所依賴的統計結構並不是神秘的,而是可以從整合主義的哲學框架中得到解釋。同時,它也指出了LLM的侷限性:它們只在統計結構層面操作,無法真正參與整合行為。這一認識有助於設計更符合人類語言本質的模型。