跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Sentinel-VLA:一種帶有主動狀態監控的元認知VLA模型,用於動態推理和錯誤恢復

文章摘要

Sentinel-VLA是一種元認知視覺-語言-動作(VLA)模型,透過主動的“哨兵”模組監控執行狀態,僅在需要時觸發推理或錯誤恢復,從而在降低計算開銷的同時實現魯棒決策。模型使用自動生成的44個任務、超過260萬次轉換的資料進行訓練,並採用自演進持續學習(SECL)演算法和正交持續介面卡(OC-Adapter)防止災難性遺忘。實際實驗表明,其任務成功率比當前最優模型PI0提高30%以上。所有程式碼、權重和資料生成流程將開源。

來源arXiv Robotics作者: Wenhao Li, Xiu Su, Yichao Cao, Hongyan Xu, Xiaobo Xia, Shan You, Yi Chen, Chang Xu
Sentinel-VLA:一種帶有主動狀態監控的元認知VLA模型,用於動態推理和錯誤恢復
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺-語言-動作(VLA)模型在具身操作領域取得了顯著進展,它們利用廣泛的世界知識和強大的泛化能力,使機器人能夠理解和執行復雜的操作任務。然而,當前的VLA模型仍然面臨幾個關鍵挑戰:推理能力有限、缺乏對執行狀態的即時監控、以及難以在出錯時進行自我修正。為了解決這些問題,來自中國的研究團隊提出了Sentinel-VLA——一種具備元認知能力的VLA模型。

Sentinel-VLA的核心創新在於其主動的“哨兵”(sentinel)模組。該模組持續監控機器人的即時執行狀態,但僅在必要時才觸發模型進行動態推理或制定錯誤恢復方案。例如,在初始規劃階段,哨兵模組會啟用推理來生成動作序列;當檢測到執行過程中出現異常或錯誤時,它會喚醒模型進行錯誤分析和恢復。這種按需推理機制確保模型在絕大多數時刻保持靜默,從而大幅降低了計算開銷,同時保證了決策的魯棒性。

為了訓練Sentinel-VLA,研究團隊設計了一套全自動的資料生成和標註流水線。該流水線能夠自動構建涵蓋44個不同操作任務的訓練資料,總計超過260萬次狀態-動作轉換。這些資料不僅數量龐大,而且具有高度多樣性,涵蓋了各種物體、場景和操作要求。

針對持續學習中的災難性遺忘問題,團隊提出了自演進持續學習(Self-Evolving Continual Learning, SECL)演算法。SECL允許Sentinel-VLA自主識別自身能力的邊界,並自動收集新的資料來擴充套件其技能。同時,正交持續介面卡(Orthogonal Continual Adapter, OC-Adapter)將引數更新限制在正交子空間中,從而有效防止了學習新任務時覆蓋舊知識。

在真實世界的機器人操作實驗中,Sentinel-VLA的任務成功率相比當時的最先進模型PI0提高了超過30%。這一提升在多種複雜任務上得到驗證,包括精細操作、多步驟任務和需要錯誤恢復的場景。研究團隊承諾將開源所有程式碼、模型權重以及資料生成流水線,以促進該領域的進一步研究和應用。

展開要點與分析

文章情報

工程師進階

要點

  • Sentinel-VLA引入主動哨兵模組,實現按需推理和錯誤恢復。
  • 訓練資料透過自動化流程生成,覆蓋44個任務,超過260萬次轉換。
  • 自演進持續學習(SECL)演算法結合正交持續介面卡(OC-Adapter),防止災難性遺忘。
  • 在真實世界實驗中,任務成功率比PI0模型提升30%以上。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。