跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

潛在緩存流:無需文本的模型間通信

文章摘要

潛在緩存流(LCF)通過聯合翻譯和壓縮鍵值對,將適配器大小降至Cache-to-Cache(C2C)的4%,並支持上下文不同的通信場景。實驗表明,在共享上下文中,13MB的LCF適配器比956MB的C2C更準確;在不同上下文中,LCF比基於文本的通信準確率高23%、速度快8.5倍。

來源arXiv Machine Learning作者: Maximillian Rossi, Prajwal Raghunath, Eugene Wu
潛在緩存流:無需文本的模型間通信
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)智能體之間的傳統通信依賴於文本,這需要將共享模型的狀態進行自迴歸解碼,然後在接收模型處重新編碼,導致顯著的延遲和信息丟失。為了解決這些問題,先前的研究提出了Cache-to-Cache(C2C)方法,通過學習適配器來翻譯共享模型的KV緩存,使得模型間可以直接交換緩存信息。然而,C2C的適配器體積龐大,訓練成本高昂,並且只能處理目標上下文完全一致的情況,這在實際的智能體通信中並不常見,因為不同智能體往往擁有不同的上下文信息。

針對這些挑戰,最新研究提出了潛在緩存流(Latent Cache Flow, LCF)。LCF的核心創新在於將鍵(Key)和值(Value)的翻譯與壓縮過程聯合進行,從而將適配器的大小降低到C2C的約4%。例如,C2C需要956MB的適配器,而LCF僅需13MB。除了效率提升,LCF還解決了上下文不一致的問題:其適配器被設計為傳輸目標模型所缺失的新信息的摘要,而非完整的KV緩存。這使得LCF能夠適應智能體間上下文不同的現實場景。

實驗結果表明,在共享上下文的設置中,13MB的LCF適配器在準確性上超越了956MB的C2C適配器。在上下文不同的場景下,LCF比傳統的基於文本的通信準確率提高了23%,同時速度提升了8.5倍。這些結果展示了LCF在構建高效、靈活的協作AI系統方面的巨大潛力。論文由Maximillian Rossi等人撰寫,於2026年5月19日提交,共6頁5張圖表,主要探討了機器學習領域的模型間通信問題。

展開要點與分析

文章情報

工程師進階

要點

  • LCF聯合翻譯和壓縮鍵值,適配器大小僅為C2C的4%。
  • 適配器傳輸新信息摘要,適用於上下文不同的場景。
  • 共享上下文中,13MB的LCF比956MB的C2C更準確;不同上下文中,準確率高23%、速度快8.5倍。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

潛在緩存流:無需文本的模型間通信 | AI News Hub