EpiCache是一種新型的鍵值（KV）快取管理框架，由Minsoo Kim、Arnav Kundu、Han-Byul Kim、Richa Dixit和Minsik Cho於2026年5月提出，旨在解決大型語言模型（LLM）在長期對話中的記憶體瓶頸問題。隨著LLM上下文長度擴充套件至百萬級token，KV快取的大小也線性增長，導致在資源受限的裝置上記憶體迅速耗盡。現有的KV快取壓縮方法通常是在整個上下文處理完之後才進行快取驅逐，這不僅導致峰值記憶體使用不受控制，而且查詢相關的驅逐策略會使得快取語義侷限於單一查詢，在多輪對話中容易失敗。
為了應對這些挑戰，研究人員提出了EpiCache，這是一種無需訓練的框架，專門用於固定記憶體預算下的長對話問答（LongConvQA）。EpiCache透過兩個關鍵機制來管理快取：一是分塊預填充（block-wise prefill），將輸入分塊處理，從而控制快取的增長；二是片段式KV壓縮（episodic KV compression），將對話歷史聚類成連貫的片段，並對每個片段進行獨立的KV快取驅逐。這種方法能夠在保持與主題相關的上下文的同時，有效限制記憶體使用。
在三個LongConvQA基準測試（LongMemEval、Realtalk和LoCoMo）上，EpiCache表現出色。與現有方法相比，它的準確率提高了高達30%，在4到6倍的壓縮比下，其準確率接近使用完整快取時的水平。此外，EpiCache還顯著降低了延遲和峰值記憶體使用，分別最高減少了2.4倍和3.7倍。該研究為在資源受限環境中部署長期對話AI提供了一種高效且實用的解決方案。相關研究表明，KV快取壓縮是一個活躍的研究領域，例如Stochastic KV Routing（2026年5月）透過深度維度自適應共享快取，以及CommVQ（2025年7月，ICML）使用可交換向量量化壓縮KV快取。EpiCache在這些工作中獨樹一幟，專注於長對話場景下的固定記憶體預算管理。