Akashic：一种基于MemAttention的低开销LLM推理服务
Akashic是一种为LLM代理系统设计的低开销记忆系统，通过MemAttention将上下文组织成有界块并建模语义关系，避免完整历史重放，从而提升任务准确率、吞吐量和可持续请求率。
大型语言模型（LLM）驱动的代理系统在多轮交互、工具调用和跨会话工作流中不断累积上下文。然而，为每个请求重放完整历史记录很快变得不切实际：长上下文增加了预填充成本，可能超出上下文限制，并且常常将任务相关证据淹没在无关内容中，降低了服务效率和输出质量。为解决这一问题，研究人员提出了Akashic，一种基于MemAttention的低开销记忆系统。
MemAttention的核心思想是将上下文组织成有界块（bounded chunks），并对这些块之间的语义关系进行建模。具体来说，系统会分析块间的注意力模式，识别出哪些块在语义上相互关联，从而在推理时只检索相关块，而不是重建完整历史。这种设计避免了重复计算，显著降低了预填充和内存开销。
除了跨越块的语义建模，Akashic还引入了硬件-软件协同设计的内存放置策略。通过分析检索历史，系统将可能同时被请求的块放置在内存中的邻近位置，从而减少磁盘碎片和I/O数据传输量。实验表明，该策略在高并发场景下尤其有效，能够大幅降低延迟。
在四类代表性工作负载（包括多跳问答、工具使用、对话管理、代码生成）和三种模型规模（7B、13B、70B参数）的评估中，Akashic与包括FlashAttention、Memory-Augmented LLM在内的多种基线方法进行了对比。结果显示，Akashic在任务准确率上最高提升10.2个百分点，吞吐量提升1.21倍，可持续请求率（即单位时间能处理的请求数）提升1.88倍。研究人员指出，Akashic特别适合需要长期记忆的复杂代理场景，比如连续多天的人机协作或跨会话的对话系统。
该研究由Yang Liu等十位学者共同完成，论文发表于arXiv（编号2607.05708）。团队表示，下一步将探索MemAttention与稀疏注意力机制的融合，并进一步优化硬件适配，以推动Akashic在实际云服务中的部署。