近年来，扩散语言模型（Diffusion Language Models, DLMs）作为一类新兴的生成模型，正在受到越来越多的关注。与传统的自回归语言模型不同，DLMs采用双向注意力机制，这使得其在推理时能够同时考虑上下文信息，但也给高效服务带来了新的挑战。其中，键值（Key-Value, KV）缓存是提升大语言模型（LLM）服务吞吐量的关键技术，尤其在处理共享前缀（如系统提示或常见指令）时，缓存可以避免重复计算。然而，将现有的LLM缓存技术直接迁移到DLMs上却会导致严重问题：由于双向注意力，任何token的更新都会动态改变整个上下文及其对应的KV，因此假设KV一旦计算就保持不变的缓存方法会破坏共享前缀的KV，使模型精度骤降至接近零。
针对这一瓶颈，来自Younghun Go等作者的研究团队在论文《Enabling KV Caching of Shared Prefix for Diffusion Language Models》中提出了bicache——首个专为DLMs设计的共享前缀KV缓存技术。该技术基于对DLMs内部机制的深入分析：研究发现，在模型的浅层，共享前缀的KV表示相对稳定且可复用，而“浅层”的具体深度取决于每个请求中共享前缀token所占的比例。基于这一观察，bicache能够动态地为每个请求识别出安全的层深度，在该深度以内复用共享前缀的KV，从而消除冗余计算，同时避免破坏后续层的上下文一致性。
为了验证bicache的有效性，作者进行了全面的实验评估。结果表明，与现有技术相比，bicache在不引起精度崩溃的前提下（精度差异仅为0–1.8%），将服务吞吐量显著提升了36.3%至98.3%。这一成果对于推动DLMs在实际场景中的高吞吐部署具有重要意义，也为后续研究提供了新的思路。该论文已被arXiv收录，编号为2606.07571，属于机器学习（cs.LG）和人工智能（cs.AI）领域。