Akashic：一種基於MemAttention的低開銷LLM推理服務
Akashic是一種為LLM代理系統設計的低開銷記憶系統，通過MemAttention將上下文組織成有界塊並建模語義關係，避免完整歷史重放，從而提升任務準確率、吞吐量和可持續請求率。
大型語言模型（LLM）驅動的代理系統在多輪交互、工具調用和跨會話工作流中不斷累積上下文。然而，為每個請求重放完整歷史記錄很快變得不切實際：長上下文增加了預填充成本，可能超出上下文限制，並且常常將任務相關證據淹沒在無關內容中，降低了服務效率和輸出質量。為解決這一問題，研究人員提出了Akashic，一種基於MemAttention的低開銷記憶系統。
MemAttention的核心思想是將上下文組織成有界塊（bounded chunks），並對這些塊之間的語義關係進行建模。具體來説，系統會分析塊間的注意力模式，識別出哪些塊在語義上相互關聯，從而在推理時只檢索相關塊，而不是重建完整歷史。這種設計避免了重複計算，顯著降低了預填充和內存開銷。
除了跨越塊的語義建模，Akashic還引入了硬件-軟件協同設計的內存放置策略。通過分析檢索歷史，系統將可能同時被請求的塊放置在內存中的鄰近位置，從而減少磁盤碎片和I/O數據傳輸量。實驗表明，該策略在高併發場景下尤其有效，能夠大幅降低延遲。
在四類代表性工作負載（包括多跳問答、工具使用、對話管理、代碼生成）和三種模型規模（7B、13B、70B參數）的評估中，Akashic與包括FlashAttention、Memory-Augmented LLM在內的多種基線方法進行了對比。結果顯示，Akashic在任務準確率上最高提升10.2個百分點，吞吐量提升1.21倍，可持續請求率（即單位時間能處理的請求數）提升1.88倍。研究人員指出，Akashic特別適合需要長期記憶的複雜代理場景，比如連續多天的人機協作或跨會話的對話系統。
該研究由Yang Liu等十位學者共同完成，論文發表於arXiv（編號2607.05708）。團隊表示，下一步將探索MemAttention與稀疏注意力機制的融合，並進一步優化硬件適配，以推動Akashic在實際雲服務中的部署。