忠實而非糾錯:多跳智能體中繼中的消息格式效應取決於層級
一項新研究探討了消息格式在多跳LLM智能體中繼中的影響,發現格式效應依賴於中繼能力層級。在強中繼下,忠實指令下幾乎無損失,而弱中繼下格式間差異顯著擴大。結構化格式提供了忠實、錯誤定位的通道,而非糾錯碼。
arXiv上發佈的一項新研究《忠實而非糾錯:多跳智能體中繼中的消息格式效應取決於層級》深入探討了當大型語言模型(LLM)智能體相互傳遞信息時,消息格式對信息保真度的影響。該研究由Zayx Shawn等人完成,通過一個精心設計的受控中繼測試牀,對五種消息格式(自由自然語言、精確指令自然語言、JSON、三元組、鍵值對)在六跳信息傳遞中的表現進行了系統評估。測試牀使用12個程序生成的原子事實,由固定強評分器依據程序性真值進行評分,並跨越兩種中繼能力層級、認知負荷條件和配對分支錯誤注入場景。
研究結果揭示了消息格式效應的層級依賴性。在強中繼(大型模型)且使用忠實中繼指令的情況下,信息傳遞幾乎是無損的,經典的“電話遊戲”式信息衰減並未出現。即使增加每跳的認知負荷,各格式的信息保真度變化也在±1.8個百分點以內,但生成成本增加了24%至53%。然而,在弱中繼(1.5B參數模型)下,情況截然不同。不同格式之間的六跳召回率差異從2.3個百分點急劇擴大到20.5個百分點,增長了8.7倍。這一現象由兩種相反機制驅動:剛性格式(如自由自然語言)因編碼成本導致信息損失,而固定鍵JSON模式則具有漂移抵抗性,使得格式排名在傳遞過程中發生翻轉。
研究還通過配對分支錯誤注入實驗進一步探究了結構格式的性質。實驗發現,一旦錯誤值被引入,在所有格式中,83%到100%的鏈中該錯誤會持續到最終跳,與真實值的保留率高度一致,且不會對相鄰事實造成附帶損害。這表明結構化格式構建的是一個忠實、錯誤定位的通道,而非糾錯碼。研究者強調,格式選擇應基於管道中最弱的中繼能力。該研究為多智能體系統的設計提供了重要指導,指出在混合能力場景下,應優先考慮適應最弱中繼的格式,以最大化整體信息保真度。這些發現對實際部署多智能體系統時選擇消息格式具有直接的指導意義。