拡散大規模言語モデル（dLLM）は、反復的なマスク付きノイズ除去によって柔軟な生成を可能にする一方、各ノイズ除去ステップでトークン表現を繰り返し再計算するため、推論コストが大きい。既存のキャッシュベース手法は、ノイズ除去ステップ間で中間結果を再利用し、各ステップで一部の位置だけを再計算することでコストを削減する。再計算する位置は、固定スケジュールか、変化を示すヒューリスティックな信号によって選ばれてきた。
Yukai Jin、Zhankai Ye、Jiayue Yang、Fangyi Li、Shuoqiu Li、Xu Gao、Shibo Li、Xin Liu、Shangqian Gao による本論文は、この問題を軌跡の観点から捉え直す。著者らの軌跡実験によれば、より本質的な量はデコーディング軌跡であり、単なる表現誤差ではない。キャッシュを用いた生成でも、完全ノイズ除去軌跡に十分近ければ精度は保たれる。誤りはアンマスク順序の逸脱の周辺に集中し、より長い参照プレフィックスが回復されると減少する。
このことから著者らは、表現誤差を抑えることも有用だが、生成を完全ノイズ除去軌跡上に保つことが正確なデコーディングへのより直接的な道だという原則を導く。そこで効率的な dLLM 推論を「軌跡誘導型クエリ」として定式化する。表現誤差を広く修復するのではなく、完全ノイズ除去軌跡を用いて、未解決の位置のうち限られた新規計算を受けるべき場所を教師あり学習する。
この定式化に基づき、著者らは軽量なスパースデコーディングフレームワーク TRACEQUERY を提案する。近未来の軌跡に関連する位置を少数予測し、その候補だけをクエリし、それらの新規予測からバックボーンが確定するトークンを選ぶ仕組みである。これにより、すべての位置を無差別に再計算することを避けつつ、「どこを再計算するか」の判断をデコーディング過程に結び付ける。
実験では、TRACEQUERY がキャッシュベース手法の中で最も優れた品質と計算量のトレードオフを達成し、大幅に少ない新規トークン計算で高い精度を維持することが示された。また、タスク、モデル変種、モデル系列をまたいで良好に汎化する。
論文は本文9ページ、付録5ページ、図4点、表1点で構成され、計算と言語（cs.CL）および人工知能（cs.AI）に分類されている。2026年10月7日に arXiv へ投稿され、識別子は arXiv:2610.33008v1、コードは GitHub で公開されている。