AI News HubLIVE
站内改写1 分钟阅读

从信号到结构:记忆架构如何驱动LLM智能体的语言涌现

一项新研究通过Lewis信号游戏比较了五种记忆架构,发现配备持久私人笔记本的LLM智能体在协调任务中表现最优,且记忆架构比通道容量更重要。

来源arXiv AI作者: Yashar Talebirad, Eden Redman, Ali Parsaee, Osmar R. Zaiane

如何让两个智能体从零开始发明一种共享语言?这是语言演化研究中的核心问题。一项由Yashar Talebirad等人进行的最新研究利用Lewis信号游戏对此进行了深入探索。在经典Lewis信号游戏中,一个发送者看到一个物体后必须发送一个信号,接收者根据信号选择物体,双方仅通过交互历史来协调出一个共同代码,没有预先约定的词汇表。研究者使用大型语言模型(LLM)作为智能体,测试了五种不同的记忆架构,并变化通道容量(即可能的信号数量),以观察哪些因素最能促进成功的协调。

实验结果表明,记忆架构的影响力远超通道容量本身。配备持久私人笔记本的智能体表现最为出色:它们能够充分利用多余的通道容量,避免了无状态智能体在高容量时出现的协调崩溃现象。在通道容量为25时,这些笔记本智能体取得了最可靠的协调表现,协调度达到0.867±0.023。笔记本的作用在于将学到的惯例外部化,使得智能体无需每轮重新推导代码,从而稳定了通信过程,并防止了词汇的无序增长。

相比之下,无状态智能体仅在中等通道容量时表现最佳,一旦词汇量增长超出滚动上下文窗口的追踪能力,性能便急剧下降。这揭示了当前基于上下文窗口的LLM智能体的一个根本局限:在缺乏外部记忆的情况下,历史信息容易丢失,导致协调不稳定。

研究还挑战了基于信息瓶颈理论的传统观点。该理论预测最优通道容量应等于需要区分的物体数量(实验中为8个)。但实验发现,容量等于8时系统协调反而最不稳定,成为一个脆弱点;而多余的容量通常更为有利。因此,通道容量本身无法预测协调结果;记忆架构决定了智能体能否将交互历史转化为稳定的惯例。要理解信号如何演变为语言,这两个维度缺一不可。

该研究已提交至arXiv(编号2607.00233),涉及人工智能、计算与语言、信息论及多智能体系统等多个领域,为理解LLM智能体中的语言涌现提供了重要视角。