大型語言模型（LLM）推理中，前綴緩存是一種關鍵的延遲優化技術。然而，現有系統假設每令牌的鍵值（KV）緩存可以密集複用。狀態空間模型（SSM）和循環層改變了問題結構：這些模型可以從單個存儲的狀態恢復，而不需要整個令牌歷史。這種不對稱性開啓了一個新的設計點——在無複用和密集緩存之間：在稀疏的檢查點位置存儲精確的循環狀態，並在緩存命中時從最深的存儲檢查點恢復，然後精確重新計算剩餘後綴。
本文正式將稀疏前綴緩存定義為在重疊深度分佈下的檢查點放置問題，並提出了一個精確的O(NM)動態規劃算法。在多個請求共享顯著前綴（例如，針對同一長文檔提出不同問題）的應用場景中，該方法在真實數據上持續改善了標準啓發式方法所追蹤的Pareto前沿。在QuALITY和System Prompts數據集上，基於分佈感知的放置方法在每層組Pareto前沿上優於所有固定預算基線，並且匹配或超越了最強啓發式方法（塊緩存），同時使用的檢查點數量通常更少。在低檢查點預算下，當重疊分佈最不均勻時，增益最大。
該方法在多個請求共享大量但不完全相同的前綴且這些前綴保留在緩存條目中時最為適用。它保持精確輸出，不改變循環計算本身，也不需要新的循環更新內核。其適用於循環/SSM層，這些層的隱藏狀態可以精確提取和恢復。對於混合模型，該方法可以與現有的KV緩存壓縮技術結合使用。
此外，該方法的實現相對簡單，因為不需要修改底層的循環計算方式，只需在檢查點位置存儲和恢復隱藏狀態。這降低了部署門檻，使得在現有的推理系統中集成稀疏前綴緩存成為可能。論文中的實驗表明，即使在較少的檢查點預算下，該方法也能顯著減少緩存未命中時的計算量，從而降低整體推理延遲。這對於需要處理大量具有公共前綴請求的服務（如多輪對話、文檔問答等）尤其有價值。