机器人演示数据的分割,即把连续的操作记录切分成在时间和语义上互不重叠的子片段,对于机器人学习的训练、数据清洗、检索和分析都具有重要意义。然而目前这一工作大多依靠人工完成,过程繁琐且容易出错。多模态大语言模型(MLLMs)为自动化分割提供了可能,但直接把多路摄像头的原始视频流输入模型代价高昂,很快就会耗尽上下文窗口。
针对这一瓶颈,Shuangyu Xie 等六位作者在 arXiv 上提交的论文《KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations》提出了替代思路。研究团队没有继续在视觉输入上加码,而是把注意力转向与演示数据相伴而生的机器人运动学数据流。相较于高维视频,运动学数据本身就紧凑得多,也更直接地反映了机器人关节和末端执行器的运动轨迹。
该方法的核心是名为稀疏运动标记(Sparse Motion Tokens,简称 SMTs)的离散运动词汇表。其设计灵感来自 Huffman 编码等经典熵编码原理:出现频率高的符号用更短的码字表示,从而整体压缩效率更高。对应到机器人领域,这意味着那些反复出现、在时间上局部集中的运动模式,也就是论文所称的“运动学事件”,可以用更紧凑的方式来表达。SMTs 的学习过程是先用时间片段监督信号对运动学轨迹进行编码,再对得到的特征做量化,最终形成离散标记序列。
生成标记序列之后,KiRoSe 借助一个开放语言模型来解读这些序列。监督信号来自机器人演示数据中日益常见的子任务标注,这类标注正在变得越来越多,为训练提供了数据基础。值得注意的是,由于语言模型保留着开放的词汇表知识,该方法并没有把模型限制在固定的类别集合上,而是能在保持泛化能力的同时完成分割任务。
在与人工标注分割结果的对比评估中,KiRoSe 在 F1 质量指标上明显优于基线分割方法。更值得关注的是它的零样本迁移能力:方法可以直接应用到训练时未曾见过的机器人形态,甚至能处理以第一人称视角记录的人类动作数据。这说明基于运动学事件的分割具有一定的普适性,并未过度依赖特定硬件。
除了分割本身,论文还展示了该框架的两项延伸能力。其一是在未见过的机器人上跟踪任务进度;其二是检测某个动作是否正在被反向执行,例如当操作者把物体放回原处或撤销先前的操作时,系统能够识别出这种回退。研究团队还提供了项目网站,供读者查看更详细的结果。
该论文被归类为机器人学(cs.RO),提交时间为 2026 年 10 月 22 日,第一作者为 Shuangyu Xie,全文可通过 arXiv 编号 2610.31801 获取。