從訊號到結構：記憶架構如何驅動LLM智慧體的語言湧現

如何讓兩個智慧體從零開始發明一種共享語言？這是語言演化研究中的核心問題。一項由Yashar Talebirad等人進行的最新研究利用Lewis訊號遊戲對此進行了深入探索。在經典Lewis訊號遊戲中，一個傳送者看到一個物體後必須傳送一個訊號，接收者根據訊號選擇物體，雙方僅透過互動歷史來協調出一個共同程式碼，沒有預先約定的詞彙表。研究者使用大型語言模型（LLM）作為智慧體，測試了五種不同的記憶架構，並變化通道容量（即可能的訊號數量），以觀察哪些因素最能促進成功的協調。

實驗結果表明，記憶架構的影響力遠超通道容量本身。配備持久私人筆記本的智慧體表現最為出色：它們能夠充分利用多餘的通道容量，避免了無狀態智慧體在高容量時出現的協調崩潰現象。在通道容量為25時，這些筆記本智慧體取得了最可靠的協調錶現，協排程達到0.867±0.023。筆記本的作用在於將學到的慣例外部化，使得智慧體無需每輪重新推導程式碼，從而穩定了通訊過程，並防止了詞彙的無序增長。

相比之下，無狀態智慧體僅在中等通道容量時表現最佳，一旦詞彙量增長超出滾動上下文視窗的追蹤能力，效能便急劇下降。這揭示了當前基於上下文視窗的LLM智慧體的一個根本侷限：在缺乏外部記憶的情況下，歷史資訊容易丟失，導致協調不穩定。

研究還挑戰了基於資訊瓶頸理論的傳統觀點。該理論預測最優通道容量應等於需要區分的物體數量（實驗中為8個）。但實驗發現，容量等於8時系統協調反而最不穩定，成為一個脆弱點；而多餘的容量通常更為有利。因此，通道容量本身無法預測協調結果；記憶架構決定了智慧體能否將互動歷史轉化為穩定的慣例。要理解訊號如何演變為語言，這兩個維度缺一不可。

該研究已提交至arXiv（編號2607.00233），涉及人工智慧、計算與語言、資訊理論及多智慧體系統等多個領域，為理解LLM智慧體中的語言湧現提供了重要視角。