扩散大语言模型(dLLM)通过并行去噪多个 token 来加速生成,这一特性使其在延迟敏感的移动端推理场景中颇具吸引力。然而,反复去噪会在智能手机上带来可观的算力开销。移动端神经处理单元(NPU)擅长高吞吐的稠密矩阵运算,但要高效利用它们仍面临多重挑战:token 提交机制会压缩每个 block 的有效工作量,token 修订会使 KV cache 复用变得复杂,而 NPU 可见地址空间有限又会引入昂贵的重映射与数据传输开销。针对这些问题,Tuowei Wang 等三位作者于 2026 年 6 月 11 日提交的论文《Efficient On-Device Diffusion LLM Inference with Mobile NPU》(arXiv:2606.13740,cs.LG)提出了 llada.cpp——据作者所述,这是首个面向智能手机 dLLM 加速的 NPU 感知推理框架。
llada.cpp 的核心思路是让按 block 组织的 dLLM 推理与移动 NPU 的执行特性对齐,具体通过三项技术实现。第一项是多 block 推测解码(Multi-Block Speculative Decoding):在解码当前 block 的后期阶段,已提交 token 的减少会使有效工作量收缩,该技术用未来 block 的推测 token 填补这一空缺,从而维持 NPU 的稠密利用率。第二项是双路径渐进修订(Dual-Path Progressive Revision):它让已提交的 token 在稳定之前保持可修订,并通过 CPU 侧路径刷新不稳定 token,同时不会阻塞 NPU 上的稠密执行。第三项是交换优化内存运行时(Swap-Optimized Memory Runtime):它压缩 NPU 可见的地址布局,并将数据暂存与 NPU 计算重叠执行,以降低重映射和数据搬运的开销。
作者将 llada.cpp 实现为端到端框架,并在多种硬件平台和 dLLM 工作负载上进行了评测。结果显示,在启用前缀 KV cache 复用的条件下,相比 CPU 基线,该框架将 LLaDA-8B 的生成延迟降低了 17 倍至 42 倍,同时保持了生成质量。论文摘要未披露具体的测试机型、NPU 型号或各场景下的细分数据。该工作属于机器学习(cs.LG)方向,提交版本为 v1,全文约 547 KB,可通过 arXiv 获取 PDF、实验性 HTML 及 TeX 源码,DOI 为 10.48550/arXiv.2606.13740。