大型語言模型(LLM)智能體之間的傳統通信依賴於文本,這需要將共享模型的狀態進行自迴歸解碼,然後在接收模型處重新編碼,導致顯著的延遲和信息丟失。為了解決這些問題,先前的研究提出了Cache-to-Cache(C2C)方法,通過學習適配器來翻譯共享模型的KV緩存,使得模型間可以直接交換緩存信息。然而,C2C的適配器體積龐大,訓練成本高昂,並且只能處理目標上下文完全一致的情況,這在實際的智能體通信中並不常見,因為不同智能體往往擁有不同的上下文信息。
針對這些挑戰,最新研究提出了潛在緩存流(Latent Cache Flow, LCF)。LCF的核心創新在於將鍵(Key)和值(Value)的翻譯與壓縮過程聯合進行,從而將適配器的大小降低到C2C的約4%。例如,C2C需要956MB的適配器,而LCF僅需13MB。除了效率提升,LCF還解決了上下文不一致的問題:其適配器被設計為傳輸目標模型所缺失的新信息的摘要,而非完整的KV緩存。這使得LCF能夠適應智能體間上下文不同的現實場景。
實驗結果表明,在共享上下文的設置中,13MB的LCF適配器在準確性上超越了956MB的C2C適配器。在上下文不同的場景下,LCF比傳統的基於文本的通信準確率提高了23%,同時速度提升了8.5倍。這些結果展示了LCF在構建高效、靈活的協作AI系統方面的巨大潛力。論文由Maximillian Rossi等人撰寫,於2026年5月19日提交,共6頁5張圖表,主要探討了機器學習領域的模型間通信問題。