跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

我如何知道接下來該說什麼?巴倫霍爾茨的自生成理論對哈里斯整合論的豐富

文章摘要

本文論證了巴倫霍爾茨的自生成語言理論如何豐富哈里斯整合主義語言學,填補了其在符號前瞻開放性、語言與非語言符號連續性以及整合檔案結構方面的解釋空白。該綜合為自然語言處理和大型語言模型設計提供了理論基礎,闡明瞭統計結構的本質及其侷限性。

來源arXiv Computational Linguistics作者: J. Mark Bishop, Stephen J. Cowley
我如何知道接下來該說什麼?巴倫霍爾茨的自生成理論對哈里斯整合論的豐富
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

一篇新論文《我如何知道接下來該說什麼?巴倫霍爾茨的自生成理論對哈里斯整合論的豐富》由J. Mark Bishop和Stephen J. Cowley撰寫,提出了一個引人注目的綜合。該文認為,埃蘭·巴倫霍爾茨的自生成語言理論可以有效地填補羅伊·哈里斯整合主義語言學中的關鍵解釋空白,同時不削弱其核心主張。

整合主義語言學對計算語言學中根深蒂固的指稱主義傳統提出了有力批判,認為語言並非對映到預先給定世界的程式碼,而是一種情境性的、雙向的活動,旨在促進未來的聯合行動。然而,整合主義存在顯著不足:它未能完全解釋符號維持前瞻開放性的結構機制;對語言與非語言符號活動之間的連續性理論化不足;也未提供關於過去整合積累檔案的結構特性的詳細解釋。

巴倫霍爾茨的自生成理論最初是為了回應大型語言模型的行為而發展起來的,它恰好填補了這些空白。該理論提供了:哈里斯所強調的雙向交流中前瞻開放性的結構機制;哈里斯關於語言與其他符號活動之間符號連續性論點的計算對應物;以及一個關於檔案的理論——即過去整合的累積殘餘是什麼樣子的,新參與者如何利用它。

這一綜合保留了哈里斯關於情境整合行為本體優先性的觀點,同時增加了整合主義本身未能提供的解釋性內容。對於自然語言處理和大型語言模型設計的從業者和研究人員來說,這一論證提供了一個有原則的說明,解釋了LLM所有效利用的統計結構實際上是什麼,以及它本質上無法提供什麼。該論文已提交給《哲學與技術》期刊。

論文的作者指出,整合主義的批判雖有力,但其解釋力受限。自生成理論透過提供具體的結構機制和計算模型,使得整合主義的概念更加可操作。例如,前瞻開放性的結構機制解釋了符號如何在交流中保持開放,而不是預先確定。語言與非語言符號的連續性透過計算模型得以形式化。檔案理論則揭示了過去整合的累積如何影響當前行為。這些貢獻不僅豐富了整合主義,也為理解LLM的工作原理提供了新視角。

對於AI研究者而言,該綜合意味著LLM所依賴的統計結構並不是神秘的,而是可以從整合主義的哲學框架中得到解釋。同時,它也指出了LLM的侷限性:它們只在統計結構層面操作,無法真正參與整合行為。這一認識有助於設計更符合人類語言本質的模型。

展開要點與分析

文章情報

工程師進階

要點

  • 整合主義語言學存在解釋空白,自生成理論可填補。
  • 自生成理論提供了符號前瞻開放性的結構機制。
  • 該理論為語言與非語言符號連續性提供了計算對應物。
  • 對NLP和LLM設計有重要意義,說明統計結構的本質。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。