拡散大規模言語モデル（dLLM）は、拡散プロセスに基づく新しいタイプの言語モデルであり、その推論効率は二つの主要な課題によって制約されています。第一に、双方向注意機構は文脈理解に有効である反面、KVキャッシュの効率的な再利用を困難にします。第二に、復号速度を向上させるために従来の手法では静的信頼度閾値を用いて並列復号トークン数を増やしますが、これにより生成品質が損なわれることがあります。研究者らは、これらの課題が共通の現象に起因することを発見しました。すなわち、トークンが復号されるにつれて、双方向注意による文脈統合によりトークン表現が復号ステップ間でドリフト（進化）するのです。この洞察に基づき、Mingyu Lee氏ら4名の研究者は、トークン表現のドリフトを統一信号として利用し、両方の課題を同時に解決するトレーニング不要の推論フレームワーク「Polestar」を提案しました。
Polestarは二つのコンポーネントから構成されます。Polestar-Cacheは、トークン表現のドリフトの度合いを監視することでKVキャッシュ内の古くなった位置を特定し、それらの位置に対してのみスパースなリフレッシュを実行することで、キャッシュ再利用の効率を大幅に向上させます。Polestar-Commitは、急激なドリフトイベントを検出し、それに基づいてコミット準備が整ったトークンを確実に識別することで、生成品質を損なうことなく復号の並列度を高めます。複数のdLLMファミリーにおける数学推論およびコード生成ベンチマークにおいて、Polestarは精度とスループットのパレートフロンティアで新たな最先端を達成しました。具体的には、既存のベースライン手法と比較して、最大10.73%の精度向上、最大3.7倍のスループット向上、および1回のフォワードパスあたり3.67トークンという高い復号並列性を実現しました。
本研究成果は、2026年5月7日にarXivプレプリントプラットフォームに提出され（ID: 2607.14107）、計算と言語（cs.CL）および人工知能（cs.AI）の分野に分類されています。Polestarフレームワークの顕著な利点は、追加のトレーニングが不要であり、既存の拡散大規模言語モデルに直接適用できる点にあります。これは、dLLMの推論効率を向上させるための実用的かつ効果的なソリューションを提供します。この研究は、トークン表現のドリフトがモデル推論において重要な役割を果たすことを理論的に明らかにするとともに、将来のより効率的な言語モデル推論システムの設計に新たな方向性を示しています。