跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Mix-QVLA:任务证据感知的视觉-语言-动作模型混合精度量化

文章摘要

论文提出Mix-QVLA,一种任务证据感知的视觉-语言-动作(VLA)模型训练后混合精度量化框架。它通过比较全精度与量化模型在关键功能边界上的任务证据图来评估量化是否保留了决策相关证据,并结合任务执行过程中的敏感度变化分配比特,在LIBERO上把OpenVLA-OFT内存从15.4 GB降至4.1 GB,平均成功率96.3(BF16为97.1),推理加速1.52倍。

来源arXiv Computer Vision作者: Navin Ranjan, Andreas Savakis
Mix-QVLA:任务证据感知的视觉-语言-动作模型混合精度量化
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉-语言-动作(VLA)模型把视觉感知、语言理解和动作生成整合到统一的策略网络中,在机器人操作等任务上表现出很强的泛化能力。但这类模型参数规模大、推理成本高,直接部署到资源受限的机器人平台上并不现实。训练后量化(PTQ)是压缩模型、降低推理开销的常用手段,然而在VLA模型上简单地统一降低位宽,往往会破坏与任务决策密切相关的内部证据,导致成功率明显下滑。arXiv 上提交于2026年6月17日的论文《Mix-QVLA: Task-Evidence-Aware Mixed-Precision Quantization of Vision-Language-Action Models》针对这一问题提出了新的混合精度量化框架,作者为 Navin Ranjan 与 Andreas Savakis,论文归类于计算机视觉与模式识别(cs.CV)。

Mix-QVLA 的核心思路是:量化的好坏不应只看输出动作的数值误差,而要看量化后的模型是否仍然依据与全精度模型相同的任务证据做出决策。为此,框架把每一个量化变体都锚定到全精度模型在动作令牌上的参考决策,并在 VLA 模型若干关键功能边界处采集激活,计算经过归一化的、以梯度加权的任务证据图。随后,它用两个指标比较全精度与量化模型的证据图:一是证据质量(evidence-mass)的畸变,反映支撑决策的证据强度是否被削弱;二是归因分布(attribution-distribution)的畸变,反映证据在空间或通道上的分配是否发生偏移。两者结合,既能捕捉证据变弱,也能捕捉证据“搬了家”这类更隐蔽的退化。

在得到边界级的退化度量之后,Mix-QVLA 引入一个软瓶颈目标,把这些边界层面的退化聚合成逐层的敏感度分数。这样,敏感层会被识别出来并保留更高位宽,而不敏感的层则可以更激进地压缩。更重要的是,该框架并不假设敏感度在整个任务执行过程中保持不变,而是对敏感度随任务阶段变化的动态特性进行建模:在操作任务的不同阶段,各层对最终动作的贡献可能显著不同,静态的敏感度画像容易错配比特资源。Mix-QVLA 得到的证据感知与时间感知分数,最终用于在模型大小和 BitOps(按位运算量)双重预算约束下求解混合精度比特分配方案。

作者在 OpenVLA 风格的策略模型上进行了大量评测。在 LIBERO 基准上,Mix-QVLA 把 OpenVLA-OFT 的内存占用从 15.4 GB 压缩到 4.1 GB,平均成功率保持在 96.3,而 BF16 全精度模型为 97.1,差距很小;同时推理速度提升 1.52 倍。这些结果表明,以任务证据保真度为导向、并考虑执行阶段动态性的量化策略,能够明显改善低比特 VLA 部署的精度-效率权衡,为在真实机器人平台上运行大型 VLA 策略提供了一条可行路径。

展开要点与分析

文章情报

投资人进阶

要点

  • 以全精度动作令牌参考决策为锚点,衡量量化在各功能边界上对任务证据强度和分布的保真度。
  • 用软瓶颈目标把边界级退化聚合为逐层敏感度,并建模执行阶段中敏感度的动态变化。
  • 在模型大小和BitOps预算约束下进行混合精度比特分配,在LIBERO上实现内存大幅压缩与1.52倍推理加速,成功率仅小幅下降。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。