近年来,视觉-语言-动作(VLA)模型为通用机器人控制提供了有希望的途径,但其推理延迟会导致观测陈旧问题。当生成的动作被异步执行时,延迟使得观测过时,影响性能。为缓解这一问题,研究人员提出了多种方法,包括推理时补全(Inference-Time Inpainting, IT-RTC)、训练时延迟模拟(Training-Time Delay Simulation, TT-RTC)、未来状态感知条件(Future-State-Aware Conditioning, VLASH)和轻量残差校正(Lightweight Residual Correction, A2C2)。这些方法各有不同的理论基础,但此前在不同代码库、基础策略和协议下独立评估,缺乏统一比较。
来自Ayoub Agouzoul等学者的新论文对此进行了系统研究。研究者开发了两个统一的代码库,整合了所有方法,并统一了库和数据集版本。他们在Kinetix套件上使用MLPMixer策略,在LIBERO操作基准上使用SmolVLA模型进行基准测试,扫描推理延迟高达20个控制步(d=20)。实验结果表明,A2C2的每步残差校正是最有效的方法:在Kinetix上,延迟d=8时解决率仍保持在90%以上;在LIBERO上,从d=4起A2C2表现最佳。IT-RTC在低延迟时具有竞争力,但在长块(H=30)和高延迟下性能急剧下降。TT-RTC是最稳健的基于训练的方法:它在不同的最大延迟d_max选择下保持稳定,能泛化到训练延迟分布之外,并且推理开销为零。VLASH则表现出明显的低延迟与高延迟权衡,由微调延迟范围[0,d_max]决定。
该研究为VLA模型的异步推理提供了清晰的对比框架,有助于研究人员根据实际延迟需求选择合适的方法。所有代码已在GitHub上开源,以促进可重复研究和社区协作。