拡散大規模言語モデル（dLLM）は、複数のトークンを並列にノイズ除去することで生成を加速するため、遅延に敏感なモバイル推論に適している。しかし、繰り返しのノイズ除去はスマートフォン上で多大な計算を引き起こす。モバイルニューラルプロセッシングユニット（NPU）は高スループットの密行列計算を提供するが、その効率的な活用は依然として困難である。トークンの確定はブロックごとの実効ワークロードを縮小し、トークンの修正はKVキャッシュの再利用を複雑にし、限られたNPU可視アドレス空間は高コストな再マッピングとデータ転送のオーバーヘッドを招く。
本論文では、Tuowei Wangらが、スマートフォン上でdLLMを加速するための初のNPU対応推論フレームワークであるllada.cppを提案する。llada.cppは、3つの技術を通じてブロック単位のdLLM推論をモバイルNPUの実行特性に適合させる。第一に、マルチブロック投機的デコーディングは、現在のブロックのデコーディング後半で縮小するワークロードを、将来のブロックの投機的トークンで埋める。第二に、デュアルパス漸進的修正は、確定されたトークンを安定するまで修正可能に保ち、不安定なトークンをCPU側のパスで更新することで、NPUの密な実行を停滞させない。第三に、スワップ最適化メモリランタイムは、NPU可視アドレスレイアウトを圧縮し、データステージングをNPU計算とオーバーラップさせることで、再マッピングと転送のオーバーヘッドを削減する。
著者らはllada.cppをエンドツーエンドのフレームワークとして実装し、多様なハードウェアプラットフォームとdLLMワークロードで評価した。その結果、プレフィックスKVキャッシュ再利用を用いた場合、llada.cppはCPUベースラインと比較してLLaDA-8Bの生成遅延を17倍から42倍削減し、同時に生成品質を維持することを示した。本論文は2026年6月11日にarXivに投稿され、cs.LG（機械学習）に分類されている（arXiv:2606.13740）。