跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于移动NPU的高效端侧扩散LLM推理

文章摘要

该论文提出llada.cpp,首个面向智能手机的NPU感知扩散大语言模型推理框架,通过三项技术解决NPU利用难题,将LLaDA-8B生成延迟降低17-42倍,同时保持生成质量。

来源arXiv Machine Learning作者: Tuowei Wang, Yanfan Sun, Ju Ren
基于移动NPU的高效端侧扩散LLM推理
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

扩散大语言模型(dLLM)通过并行去噪多个 token 来加速生成,这一特性使其在延迟敏感的移动端推理场景中颇具吸引力。然而,反复去噪会在智能手机上带来可观的算力开销。移动端神经处理单元(NPU)擅长高吞吐的稠密矩阵运算,但要高效利用它们仍面临多重挑战:token 提交机制会压缩每个 block 的有效工作量,token 修订会使 KV cache 复用变得复杂,而 NPU 可见地址空间有限又会引入昂贵的重映射与数据传输开销。针对这些问题,Tuowei Wang 等三位作者于 2026 年 6 月 11 日提交的论文《Efficient On-Device Diffusion LLM Inference with Mobile NPU》(arXiv:2606.13740,cs.LG)提出了 llada.cpp——据作者所述,这是首个面向智能手机 dLLM 加速的 NPU 感知推理框架。

llada.cpp 的核心思路是让按 block 组织的 dLLM 推理与移动 NPU 的执行特性对齐,具体通过三项技术实现。第一项是多 block 推测解码(Multi-Block Speculative Decoding):在解码当前 block 的后期阶段,已提交 token 的减少会使有效工作量收缩,该技术用未来 block 的推测 token 填补这一空缺,从而维持 NPU 的稠密利用率。第二项是双路径渐进修订(Dual-Path Progressive Revision):它让已提交的 token 在稳定之前保持可修订,并通过 CPU 侧路径刷新不稳定 token,同时不会阻塞 NPU 上的稠密执行。第三项是交换优化内存运行时(Swap-Optimized Memory Runtime):它压缩 NPU 可见的地址布局,并将数据暂存与 NPU 计算重叠执行,以降低重映射和数据搬运的开销。

作者将 llada.cpp 实现为端到端框架,并在多种硬件平台和 dLLM 工作负载上进行了评测。结果显示,在启用前缀 KV cache 复用的条件下,相比 CPU 基线,该框架将 LLaDA-8B 的生成延迟降低了 17 倍至 42 倍,同时保持了生成质量。论文摘要未披露具体的测试机型、NPU 型号或各场景下的细分数据。该工作属于机器学习(cs.LG)方向,提交版本为 v1,全文约 547 KB,可通过 arXiv 获取 PDF、实验性 HTML 及 TeX 源码,DOI 为 10.48550/arXiv.2606.13740。

展开要点与分析

文章情报

工程师进阶

要点

  • llada.cpp是首个针对移动NPU优化的扩散LLM推理框架
  • 三项核心技术:多块推测解码、双路径渐进修正和交换优化内存运行时
  • 在LLaDA-8B上实现17-42倍延迟降低(相比CPU基线)

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

基于移动NPU的高效端侧扩散LLM推理 | AI News Hub