信号から構造へ：メモリアーキテクチャがLLMエージェントの言語創発を促進する方法

2つのエージェントがゼロから共通言語を発明するにはどうすればよいか？これは言語進化の研究における中心的な問いである。Yashar Talebiradらによる最新の研究は、ルイスのシグナリングゲームを用いてこの問題を深く探求している。古典的なルイスゲームでは、送信者は物体を見て信号を送り、受信者は信号に基づいて物体を選択する。両者は相互作用の履歴のみを使用して共通のコードを調整する必要があり、事前に定義された語彙は存在しない。研究者らは大規模言語モデル（LLM）をエージェントとして使用し、5種類のメモリアーキテクチャをテストし、チャネル容量（可能な信号の数）を変化させて、どの要因が協調を最も促進するかを観察した。

実験の結果、メモリアーキテクチャがチャネル容量よりもはるかに重要であることが明らかになった。永続的なプライベートノートブックを備えたエージェントは、余剰チャネル容量を活用し、ステートレスエージェントで見られる高容量での協調崩壊を回避した。チャネル容量25で最も信頼性の高い協調を達成し、調整スコアは0.867±0.023であった。ノートブックは学習された慣習を外部化し、エージェントが毎回コードを再導出する必要をなくし、コミュニケーションを安定させ、語彙の無秩序な成長を防いだ。

対照的に、ステートレスエージェントは中程度のチャネル容量でピークに達し、語彙がローリングコンテキストウィンドウの追跡範囲を超えると性能が急速に低下した。これは、外部メモリを欠いた現在のコンテキストウィンドウベースのLLMエージェントの根本的な限界を明らかにしている。

さらに、研究は情報ボトルネック理論に基づく従来の見解に挑戦した。その理論は最適チャネル容量が区別すべき物体の数（実験では8）と等しいと予測したが、容量8ではシステムの協調が最も不安定になり、脆弱点となることが判明した。余剰容量は一般的に有利である。したがって、チャネル容量だけでは協調を予測できず、メモリアーキテクチャがエージェントの相互作用履歴を安定した慣習に変えるかどうかを決定する。信号が言語に進化するプロセスを理解するには、両方の次元が必要である。

この研究はarXiv（番号2607.00233）に提出され、人工知能、計算と言語、情報理論、マルチエージェントシステムなどの分野に関連しており、LLMエージェントにおける言語創発の理解に重要な視点を提供している。