跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

理解視覺-語言-動作模型的非同步推理方法

文章摘要

本文系統比較了四種VLA模型非同步推理方法:推理時補全(IT-RTC)、訓練時延遲模擬(TT-RTC)、未來狀態感知條件(VLASH)和輕量殘差校正(A2C2)。在Kinetix和LIBERO基準測試中,A2C2表現最佳,在延遲8步以內保持90%以上的解決率。TT-RTC是最穩健的訓練方法,零推理開銷。IT-RTC在低延遲時具有競爭力,但在高延遲下急劇下降。VLASH表現出明顯的低延遲與高延遲權衡。

來源arXiv Robotics作者: Ayoub Agouzoul
理解視覺-語言-動作模型的非同步推理方法
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,視覺-語言-動作(VLA)模型為通用機器人控制提供了有希望的途徑,但其推理延遲會導致觀測陳舊問題。當生成的動作被非同步執行時,延遲使得觀測過時,影響效能。為緩解這一問題,研究人員提出了多種方法,包括推理時補全(Inference-Time Inpainting, IT-RTC)、訓練時延遲模擬(Training-Time Delay Simulation, TT-RTC)、未來狀態感知條件(Future-State-Aware Conditioning, VLASH)和輕量殘差校正(Lightweight Residual Correction, A2C2)。這些方法各有不同的理論基礎,但此前在不同程式碼庫、基礎策略和協議下獨立評估,缺乏統一比較。

來自Ayoub Agouzoul等學者的新論文對此進行了系統研究。研究者開發了兩個統一的程式碼庫,整合了所有方法,並統一了庫和資料集版本。他們在Kinetix套件上使用MLPMixer策略,在LIBERO操作基準上使用SmolVLA模型進行基準測試,掃描推理延遲高達20個控制步(d=20)。實驗結果表明,A2C2的每步殘差校正是最有效的方法:在Kinetix上,延遲d=8時解決率仍保持在90%以上;在LIBERO上,從d=4起A2C2表現最佳。IT-RTC在低延遲時具有競爭力,但在長塊(H=30)和高延遲下效能急劇下降。TT-RTC是最穩健的基於訓練的方法:它在不同的最大延遲d_max選擇下保持穩定,能泛化到訓練延遲分佈之外,並且推理開銷為零。VLASH則表現出明顯的低延遲與高延遲權衡,由微調延遲範圍[0,d_max]決定。

該研究為VLA模型的非同步推理提供了清晰的對比框架,有助於研究人員根據實際延遲需求選擇合適的方法。所有程式碼已在GitHub上開源,以促進可重複研究和社群協作。

展開要點與分析

文章情報

投資人進階

要點

  • 四種非同步推理方法:IT-RTC、TT-RTC、VLASH和A2C2被系統比較。
  • A2C2在Kinetix上延遲8步內解決率超90%,在LIBERO上從延遲4步起領先。
  • TT-RTC是最穩健的訓練方法,對延遲選擇穩定,無推理開銷。
  • IT-RTC在低延遲時表現好,但長塊和高延遲下效能急劇下降。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。