跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

理解视觉-语言-动作模型的异步推理方法

文章摘要

本文系统比较了四种VLA模型异步推理方法:推理时补全(IT-RTC)、训练时延迟模拟(TT-RTC)、未来状态感知条件(VLASH)和轻量残差校正(A2C2)。在Kinetix和LIBERO基准测试中,A2C2表现最佳,在延迟8步以内保持90%以上的解决率。TT-RTC是最稳健的训练方法,零推理开销。IT-RTC在低延迟时具有竞争力,但在高延迟下急剧下降。VLASH表现出明显的低延迟与高延迟权衡。

来源arXiv Robotics作者: Ayoub Agouzoul
理解视觉-语言-动作模型的异步推理方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,视觉-语言-动作(VLA)模型为通用机器人控制提供了有希望的途径,但其推理延迟会导致观测陈旧问题。当生成的动作被异步执行时,延迟使得观测过时,影响性能。为缓解这一问题,研究人员提出了多种方法,包括推理时补全(Inference-Time Inpainting, IT-RTC)、训练时延迟模拟(Training-Time Delay Simulation, TT-RTC)、未来状态感知条件(Future-State-Aware Conditioning, VLASH)和轻量残差校正(Lightweight Residual Correction, A2C2)。这些方法各有不同的理论基础,但此前在不同代码库、基础策略和协议下独立评估,缺乏统一比较。

来自Ayoub Agouzoul等学者的新论文对此进行了系统研究。研究者开发了两个统一的代码库,整合了所有方法,并统一了库和数据集版本。他们在Kinetix套件上使用MLPMixer策略,在LIBERO操作基准上使用SmolVLA模型进行基准测试,扫描推理延迟高达20个控制步(d=20)。实验结果表明,A2C2的每步残差校正是最有效的方法:在Kinetix上,延迟d=8时解决率仍保持在90%以上;在LIBERO上,从d=4起A2C2表现最佳。IT-RTC在低延迟时具有竞争力,但在长块(H=30)和高延迟下性能急剧下降。TT-RTC是最稳健的基于训练的方法:它在不同的最大延迟d_max选择下保持稳定,能泛化到训练延迟分布之外,并且推理开销为零。VLASH则表现出明显的低延迟与高延迟权衡,由微调延迟范围[0,d_max]决定。

该研究为VLA模型的异步推理提供了清晰的对比框架,有助于研究人员根据实际延迟需求选择合适的方法。所有代码已在GitHub上开源,以促进可重复研究和社区协作。

展开要点与分析

文章情报

投资人进阶

要点

  • 四种异步推理方法:IT-RTC、TT-RTC、VLASH和A2C2被系统比较。
  • A2C2在Kinetix上延迟8步内解决率超90%,在LIBERO上从延迟4步起领先。
  • TT-RTC是最稳健的训练方法,对延迟选择稳定,无推理开销。
  • IT-RTC在低延迟时表现好,但长块和高延迟下性能急剧下降。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

理解视觉-语言-动作模型的异步推理方法 | AI News Hub