跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

面向低延迟视觉语言模型:第一人称视觉理解中的双重正确预测

文章摘要

该论文研究面向人机协作与第一人称视觉理解的低延迟视觉语言模型剪枝问题,指出既有剪枝方法往往保留了正确的证据定位却损害了预测正确性,并提出一种以推理依据为导向的剪枝策略,使证据与决策更好对齐,在第一人称视频基准上同时取得更高预测准确率与更高双重正确率。

来源arXiv Robotics作者: Qitong Wang, Fan Du, Pranav Maneriker, Jihui Jin, Christopher Rasmussen
面向低延迟视觉语言模型:第一人称视觉理解中的双重正确预测
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

第一人称视角视觉理解(egocentric visual understanding)正在成为视觉-语言模型(VLM)的重要应用方向,而在人机协作(HRC)任务中,模型推理的低延迟要求也变得愈发关键。为了让模型能够在机器人本体上完成实时处理、支持即时交互,研究者通常采用权重剪枝技术来压缩VLM的模型规模与计算量。然而,仅追求效率并不足够:安全的人机交互还要求剪枝后的模型保持“双重正确”的预测,也就是输出既要准确,又要有可靠且可追溯的证据支撑,从而降低风险并维持用户信任。

这篇由Qitong Wang等五位作者完成、投稿于2026年6月23日、并被IROS 2026接收的论文,正是从“双重正确预测”的角度重新审视VLM剪枝问题。作者指出,现有剪枝方法在实验中呈现出一种出人意料的现象:它们往往能够保留正确的证据定位,却损害了最终预测的正确性。换言之,模型仍能指向画面中相关的区域,但据此作出的判断却出现偏差,导致证据与决策之间出现错位。这一发现说明,仅以模型体积或推理速度为指标的剪枝评估并不充分,还需要同时考察预测准确性与证据可靠性。

针对这一问题,作者提出了一种“理由引导”(rationale-informed)的剪枝策略,目标是让证据与决策更好地对齐。该方法在剪枝过程中不仅关注权重的重要性,还引入与推理理由相关的信息,使被保留的模型结构能够同时支撑正确的证据定位和正确的最终判断。论文在第一人称视角视频数据集上进行了基准测试,结果显示该方法不仅取得了最高的预测准确率,在实现双重正确预测方面也优于现有方法。

从应用角度看,这项工作的意义在于把效率优化与可靠性保障结合起来。对于需要在机器人平台上实时运行、并与人类近距离协作的VLM而言,剪枝带来的加速必须建立在透明、可审计和安全的基础之上。作者希望该研究能够推动高效且可靠的VLM研究,使以准确率为导向的进步与负责任的人机交互和具身智能所要求的透明度、可审计性和安全性保持一致。论文属于机器人学(cs.RO)方向,同时涉及计算机视觉与模式识别(cs.CV),全文可通过arXiv获取,提交版本为v1,文件大小约1,322 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • 指出既有VLM剪枝方法常保留正确证据定位却破坏预测正确性
  • 提出以推理依据为导向的剪枝策略,使证据与决策更一致
  • 在第一人称视频数据集上实现最高预测准确率与更优双重正确率
  • 论文被IROS 2026接收,关注高效且可审计、安全的人机协作VLM

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。