跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

KiRoSe:利用運動學數據高效分割機器人演示數據

文章摘要

加州大學伯克利分校等機構的研究者提出KiRoSe框架,通過將機器人運動學數據離散化為稀疏運動標記,再交由開放語言模型解讀,從而實現機器人演示數據的自動分割,在F1指標上大幅超越基線方法。

來源arXiv Robotics作者: Shuangyu Xie, Kaiyuan Chen, Muhammad Zubair Irshad, Richard Cheng, Sergey Zakharov, Ken Goldberg
KiRoSe:利用運動學數據高效分割機器人演示數據
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

機器人演示數據的分割,即把連續的操作記錄切分成在時間和語義上互不重疊的子片段,對於機器人學習的訓練、數據清洗、檢索和分析都具有重要意義。然而目前這一工作大多依靠人工完成,過程繁瑣且容易出錯。多模態大語言模型(MLLMs)為自動化分割提供了可能,但直接把多路攝像頭的原始視頻流輸入模型代價高昂,很快就會耗盡上下文窗口。

針對這一瓶頸,Shuangyu Xie 等六位作者在 arXiv 上提交的論文《KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations》提出了替代思路。研究團隊沒有繼續在視覺輸入上加碼,而是把注意力轉向與演示數據相伴而生的機器人運動學數據流。相較於高維視頻,運動學數據本身就緊湊得多,也更直接地反映了機器人關節和末端執行器的運動軌跡。

該方法的核心是名為稀疏運動標記(Sparse Motion Tokens,簡稱 SMTs)的離散運動詞彙表。其設計靈感來自 Huffman 編碼等經典熵編碼原理:出現頻率高的符號用更短的碼字表示,從而整體壓縮效率更高。對應到機器人領域,這意味着那些反覆出現、在時間上局部集中的運動模式,也就是論文所稱的“運動學事件”,可以用更緊湊的方式來表達。SMTs 的學習過程是先用時間片段監督信號對運動學軌跡進行編碼,再對得到的特徵做量化,最終形成離散標記序列。

生成標記序列之後,KiRoSe 藉助一個開放語言模型來解讀這些序列。監督信號來自機器人演示數據中日益常見的子任務標註,這類標註正在變得越來越多,為訓練提供了數據基礎。值得注意的是,由於語言模型保留着開放的詞彙表知識,該方法並沒有把模型限制在固定的類別集合上,而是能在保持泛化能力的同時完成分割任務。

在與人工標註分割結果的對比評估中,KiRoSe 在 F1 質量指標上明顯優於基線分割方法。更值得關注的是它的零樣本遷移能力:方法可以直接應用到訓練時未曾見過的機器人形態,甚至能處理以第一人稱視角記錄的人類動作數據。這説明基於運動學事件的分割具有一定的普適性,並未過度依賴特定硬件。

除了分割本身,論文還展示了該框架的兩項延伸能力。其一是在未見過的機器人上跟蹤任務進度;其二是檢測某個動作是否正在被反向執行,例如當操作者把物體放回原處或撤銷先前的操作時,系統能夠識別出這種回退。研究團隊還提供了項目網站,供讀者查看更詳細的結果。

該論文被歸類為機器人學(cs.RO),提交時間為 2026 年 10 月 22 日,第一作者為 Shuangyu Xie,全文可通過 arXiv 編號 2610.31801 獲取。

展開要點與分析

文章情報

工程師進階

要點

  • KiRoSe摒棄昂貴的多攝像頭視頻輸入,轉而聚焦機器人自身產生的運動學數據流。
  • 受Huffman編碼啓發,論文提出稀疏運動標記(SMTs)這一離散運動詞彙表,用於緊湊表示重複出現的局部運動模式。
  • 該方法利用日益增多的機器人示教子任務標註來監督語言模型,使其能解讀標記序列。
  • 除分割外,KiRoSe還能跟蹤未見機器人上的任務進度,並檢測動作是否被反向執行。

技術影響

可能影響具身智能、機器人部署、傳感器集成和工業應用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。