跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

潜在缓存流:无需文本的模型间通信

文章摘要

研究者提出Latent Cache Flow(LCF),一种让LLM代理通过交换压缩的KV缓存摘要而非文本来通信的方法。LCF适配器仅约4%于先前方法的大小,在上下文不同的场景下比文本通信准确率高23%,速度快8.5倍。

来源arXiv Machine Learning作者: Maximillian Rossi, Prajwal Raghunath, Eugene Wu
潜在缓存流:无需文本的模型间通信
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于2026年5月19日发布的一篇新论文《Latent Cache Flow: Model-to-Model Communication Without Text》(潜缓存流:无需文本的模型间通信)提出了一种让大语言模型智能体绕开文本、直接以潜空间缓存互相传递信息的新方法。该论文由Maximillian Rossi与另外两位作者共同完成,共6页、含5幅图,归类于机器学习(cs.LG),ACM分类号为I.2.7、I.2.6与I.2.11。

论文指出现有LLM智能体协作的瓶颈。智能体之间目前主要依靠文本通信:发送方需要自回归地逐token解码自身内部状态,接收方再将其重新编码。这一来一回不仅带来可观的延迟,还造成明显的信息损失。为解决这一问题,此前的研究Cache-to-Cache(C2C;Fu等,2026)尝试直接交换KV缓存,即通过训练适配器把发送方的KV矩阵翻译成接收方模型可用的形式,从而跳过文本这一中间环节。

但作者认为C2C存在两个关键缺陷。其一是成本:C2C的适配器体积庞大,训练代价高昂。其二是适用范围:C2C逐token进行翻译,这要求发送方与接收方的上下文完全一致,否则翻译结果无法对齐。而现实中的智能体通信恰恰是上下文各不相同的场景,因此C2C难以直接用于多智能体协作。

针对效率问题,作者提出Latent Cache Flow(LCF)。他们发现键(keys)与值(values)可以被联合翻译并压缩,这一观察使适配器的规模缩减到C2C的大约4%。针对上下文不一致的问题,作者重新设计了适配器的目标:它不再逐token对齐,而是传输一段关于“目标模型尚不掌握的新信息”的摘要,从而允许两个模型在上下文存在差异的情况下仍然有效通信。

早期实验给出了具体数据。在共享上下文设置下,一个仅13 MB的LCF适配器在准确率上可以超过高达956 MB的C2C适配器;而在上下文不同的设置下,LCF比基于文本的通信准确率高23%,速度快8.5倍。

论文摘要页同时给出了标准的arXiv元数据:提交时间为2026年5月19日19:21:01 UTC,文件大小1,213 KB,DOI为10.48550/arXiv.2605.22863,并提供PDF、实验性HTML与TeX源码等全文链接。需要注意的是,作者在摘要中明确称这些为“早期实验”,因此上述性能数字尚属初步结果,论文篇幅也仅为6页,后续仍需更充分的评测来验证LCF在真实多智能体系统中的稳健性。

展开要点与分析

文章情报

工程师进阶

要点

  • LCF通过联合翻译和压缩键值对,将适配器缩小至C2C的约4%(13 MB vs 956 MB)。
  • 设计上让适配器只传输目标模型所缺乏的新信息摘要,从而支持不同上下文的代理通信。
  • 初步实验显示,在共享上下文时13 MB LCF适配器比956 MB C2C适配器更准确;在不同上下文时,LCF比文本通信准确率高23%且快8.5倍。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。