機器人演示資料的分割,即把連續的操作記錄切分成在時間和語義上互不重疊的子片段,對於機器人學習的訓練、資料清洗、檢索和分析都具有重要意義。然而目前這一工作大多依靠人工完成,過程繁瑣且容易出錯。多模態大語言模型(MLLMs)為自動化分割提供了可能,但直接把多路攝像頭的原始影片流輸入模型代價高昂,很快就會耗盡上下文視窗。
針對這一瓶頸,Shuangyu Xie 等六位作者在 arXiv 上提交的論文《KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations》提出了替代思路。研究團隊沒有繼續在視覺輸入上加碼,而是把注意力轉向與演示資料相伴而生的機器人運動學資料流。相較於高維影片,運動學資料本身就緊湊得多,也更直接地反映了機器人關節和末端執行器的運動軌跡。
該方法的核心是名為稀疏運動標記(Sparse Motion Tokens,簡稱 SMTs)的離散運動詞彙表。其設計靈感來自 Huffman 編碼等經典熵編碼原理:出現頻率高的符號用更短的碼字表示,從而整體壓縮效率更高。對應到機器人領域,這意味著那些反覆出現、在時間上區域性集中的運動模式,也就是論文所稱的“運動學事件”,可以用更緊湊的方式來表達。SMTs 的學習過程是先用時間片段監督訊號對運動學軌跡進行編碼,再對得到的特徵做量化,最終形成離散標記序列。
生成標記序列之後,KiRoSe 藉助一個開放語言模型來解讀這些序列。監督訊號來自機器人演示資料中日益常見的子任務標註,這類標註正在變得越來越多,為訓練提供了資料基礎。值得注意的是,由於語言模型保留著開放的詞彙表知識,該方法並沒有把模型限制在固定的類別集合上,而是能在保持泛化能力的同時完成分割任務。
在與人工標註分割結果的對比評估中,KiRoSe 在 F1 質量指標上明顯優於基線分割方法。更值得關注的是它的零樣本遷移能力:方法可以直接應用到訓練時未曾見過的機器人形態,甚至能處理以第一人稱視角記錄的人類動作資料。這說明基於運動學事件的分割具有一定的普適性,並未過度依賴特定硬體。
除了分割本身,論文還展示了該框架的兩項延伸能力。其一是在未見過的機器人上跟蹤任務進度;其二是檢測某個動作是否正在被反向執行,例如當操作者把物體放回原處或撤銷先前的操作時,系統能夠識別出這種回退。研究團隊還提供了專案網站,供讀者檢視更詳細的結果。
該論文被歸類為機器人學(cs.RO),提交時間為 2026 年 10 月 22 日,第一作者為 Shuangyu Xie,全文可透過 arXiv 編號 2610.31801 獲取。