Polestar：面向扩散大语言模型高效推理的漂移感知缓存校准与令牌提交

扩散大语言模型（dLLM）是一种基于扩散过程的新型语言模型，其推理效率受到两个主要问题的制约。首先，双向注意力机制虽然有助于模型理解上下文，但却使得KV缓存的重复利用变得低效。其次，为了提升解码速度，现有的方法通常采用静态置信度阈值来增加并行解码的令牌数，但这往往以牺牲生成质量为代价。来自研究团队的观察发现，这两个问题实际上源于同一个根本原因：在解码过程中，令牌通过双向注意力不断整合上下文信息，导致其表示随着解码步骤的推移而发生漂移（即进化）。基于这一重要洞察，Mingyu Lee及其合作者提出了Polestar，这是一个无需额外训练的推理框架，它利用令牌表示漂移作为统一的信号来同时优化缓存效率和解码并行性。

Polestar由两个核心组件构成。第一个组件是Polestar-Cache，它通过监测令牌表示的漂移程度来识别KV缓存中哪些位置已经过时，然后仅对这些位置进行稀疏刷新，从而显著提升缓存重用的效率。第二个组件是Polestar-Commit，它能够检测到剧烈的漂移事件，并据此可靠地判断哪些令牌已经准备就绪，可以被提交（commit）为最终输出，从而在不影响生成质量的前提下增加解码的并行度。在多个dLLM家族的数学推理和代码生成基准测试中，Polestar在准确率与吞吐量的帕累托前沿上取得了新的最优结果。具体而言，与现有基线方法相比，Polestar实现了最高10.73%的准确率提升，吞吐量提升高达3.7倍，并且每次前向传播可以并行解码3.67个令牌。

该研究成果以论文形式于2026年5月7日提交至arXiv预印本平台，编号为2607.14107，归属于计算与语言（cs.CL）和人工智能（cs.AI）领域。Polestar框架的一个显著优势在于它无需任何额外的训练步骤，可以直接应用于现有的扩散大语言模型，为提升这类模型的推理效率提供了一种实用且高效的解决方案。这一工作不仅从理论上揭示了令牌表示漂移在模型推理中的关键作用，也为未来更高效的语言模型推理系统设计指明了新的方向。