语言模型代理之间的潜在通信：通道、对齐与文本的局限性
新研究表明，大型语言模型代理在通过文本通信时会丢失信息。使用稀疏自动编码器特征分析，研究者发现潜在空间通信虽然在某些压缩率下保留更多信息，但丢失的特征主要编码表面形式而非任务相关语义，从而对潜在通信的优势提出质疑。
一篇新论文《语言模型代理之间的潜在通信：通道、对齐与文本的局限性》由Markus Wenzel撰写，探讨了多代理系统中大型语言模型（LLM）之间的通信效率。研究团队提出假设：LLM可能拥有一个超越文本表达能力的内部世界模型，当需要传达复杂概念时，仅通过文本通信会导致信息损失。为了验证这一假设，他们设计了一系列结构化实验，利用稀疏自动编码器（SAE）特征分析来量化通信中的信息损失。
研究中构建了三种不同的通信通道：一是传统的文本通道，代理之间通过自然语言传递消息；二是密集潜在通道，直接使用模型的密集隐藏表示；三是SAE稀疏潜在通道，使用稀疏自动编码器提取的稀疏特征进行通信。通过对每个通道中区分概念的信息量进行测量，他们发现SAE稀疏通道在28倍压缩的情况下仍能保持99.4%的探针准确率，而文本通道仅为80.4%。这一结果初步表明，潜在空间在压缩条件下能够保留更多与概念相关的信息。
进一步，研究团队考察了不同架构模型之间的潜在空间对齐能力。他们将Llama和Mistral两种不同的语言模型通过Procrustes对齐方法对齐其稀疏潜在空间，实现了92%的Top-1检索率，表明潜在表示在不同模型之间具有一定的可迁移性。然而，当通过文本往返（即先编码为潜在表示，再解码为文本，再重新编码）进行特征生存分析时，他们发现文本序列化过程破坏了88%的原始SAE特征，并用一组不同的特征替换了它们。重要的是，这种损失被归因于特征身份的替换（identity replacement）而非特征的衰减（attenuation）。进一步分析显示，线性Procrustes对齐会引入3-10个百分点的性能损失，但可以通过非线性对齐方法改善。
在任务级评估中，研究团队测试了跨语言概念任务，发现潜在通道与文本通道的性能相当，但从未超越后者。此外，用潜在特征对文本进行增强也没有带来任何益处。这些负面的结果促使研究者得出结论：在文本通信中丢失的特征主要或完全编码了表面形式（surface form），而非任务相关的语义信息。因此，初始假设——潜在通信能够保留更多语义信息——并未得到支持。
研究者指出，要明确潜在通信相对于文本通道的实际优势，还需要设计更深入的任务来引发复杂概念的表达，并建立相应的分析框架。这项工作对多代理系统的设计具有重要意义，提示我们尽管潜在空间在压缩效率上表现出色，但其实际应用价值仍需进一步探索。