忠实而非纠错:多跳智能体中继中的消息格式效应取决于层级
一项新研究探讨了消息格式在多跳LLM智能体中继中的影响,发现格式效应依赖于中继能力层级。在强中继下,忠实指令下几乎无损失,而弱中继下格式间差异显著扩大。结构化格式提供了忠实、错误定位的通道,而非纠错码。
arXiv上发布的一项新研究《忠实而非纠错:多跳智能体中继中的消息格式效应取决于层级》深入探讨了当大型语言模型(LLM)智能体相互传递信息时,消息格式对信息保真度的影响。该研究由Zayx Shawn等人完成,通过一个精心设计的受控中继测试床,对五种消息格式(自由自然语言、精确指令自然语言、JSON、三元组、键值对)在六跳信息传递中的表现进行了系统评估。测试床使用12个程序生成的原子事实,由固定强评分器依据程序性真值进行评分,并跨越两种中继能力层级、认知负荷条件和配对分支错误注入场景。
研究结果揭示了消息格式效应的层级依赖性。在强中继(大型模型)且使用忠实中继指令的情况下,信息传递几乎是无损的,经典的“电话游戏”式信息衰减并未出现。即使增加每跳的认知负荷,各格式的信息保真度变化也在±1.8个百分点以内,但生成成本增加了24%至53%。然而,在弱中继(1.5B参数模型)下,情况截然不同。不同格式之间的六跳召回率差异从2.3个百分点急剧扩大到20.5个百分点,增长了8.7倍。这一现象由两种相反机制驱动:刚性格式(如自由自然语言)因编码成本导致信息损失,而固定键JSON模式则具有漂移抵抗性,使得格式排名在传递过程中发生翻转。
研究还通过配对分支错误注入实验进一步探究了结构格式的性质。实验发现,一旦错误值被引入,在所有格式中,83%到100%的链中该错误会持续到最终跳,与真实值的保留率高度一致,且不会对相邻事实造成附带损害。这表明结构化格式构建的是一个忠实、错误定位的通道,而非纠错码。研究者强调,格式选择应基于管道中最弱的中继能力。该研究为多智能体系统的设计提供了重要指导,指出在混合能力场景下,应优先考虑适应最弱中继的格式,以最大化整体信息保真度。这些发现对实际部署多智能体系统时选择消息格式具有直接的指导意义。