本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

KiRoSe:ロボット実演データを効率的に分割する運動学データ活用手法

記事の要約

研究チームは、ロボットの運動学軌道をスパース・モーション・トークンに量子化し、オープンな言語モデルに解釈させるフレームワークKiRoSeを発表した。F1品質でベースラインの分割手法を大きく上回る。

ソースarXiv Robotics著者: Shuangyu Xie, Kaiyuan Chen, Muhammad Zubair Irshad, Richard Cheng, Sergey Zakharov, Ken Goldberg
KiRoSe:ロボット実演データを効率的に分割する運動学データ活用手法
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ロボットの実演データを、時間的・意味的に重複しないサブセグメントへと分割する作業は、ロボット学習のためのデータ整理やクリーニング、検索、分析において有用である。しかし現状では、この分割の多くが人手で行われており、手間がかかるうえに誤りも生じやすい。マルチモーダル大規模言語モデル(MLLM)はこの工程の自動化の可能性を秘めているが、複数カメラの生映像ストリームをそのまま入力するのは計算コストが高く、コンテキストウィンドウをすぐに使い切ってしまう。

この課題に対して、Shuangyu Xie氏ら6名の著者による論文「KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations」は別の方向性を提示する。研究チームは視覚入力の拡張ではなく、実演データに付随して得られるロボットの運動学データのストリームに着目した。高次元の映像に比べて運動学データはもともとコンパクトであり、関節やエンドエフェクタの軌道をより直接的に反映している。

手法の中核となるのが、スパース・モーション・トークン(Sparse Motion Tokens、SMT)と呼ばれる離散的な運動語彙である。その設計は、出現頻度の高いシンボルをより短い符号で表すことで全体の圧縮効率を高める、ハフマン符号などの古典的なエントロピー符号化の原理に着想を得ている。ロボットの文脈に置き換えれば、繰り返し現れ、時間的に局所化した運動パターン、すなわち論文が「運動学的イベント」と呼ぶものを、よりコンパクトに表現できることを意味する。SMTは、時間セグメントの監督信号を用いて運動学軌道を符号化し、得られた特徴を量子化することで学習される。

トークン列が生成されると、KiRoSeはオープンな言語モデルによってそれを解釈する。教師信号としては、ロボット実演データで近年ますます整備されつつあるサブタスク注釈を利用する。言語モデルが持つ開かれた語彙知識を保つため、手法はモデルを固定のカテゴリ集合に縛り付けることなく、汎化能力を維持したまま分割を実現している点も重要である。

人手でラベル付けした分割結果との比較評価では、KiRoSeはF1品質の指標においてベースラインの分割手法を明確に上回った。さらに注目すべきはゼロショット転移能力である。学習時に見ていないロボットの形態にもそのまま適用でき、一人称視点で記録された人間の動作データにも対応する。これは、運動学的イベントに基づく分割が特定のハードウェアに過度に依存せず、ある程度の普遍性を持つことを示している。

分割そのものに加えて、論文は二つの発展的な能力も示している。一つは未知のロボット上でのタスク進捗の追跡、もう一つはある動作が逆向きに実行されているかどうかの検出である。例えば操作者が物体を元の位置に戻したり、直前の操作を取り消したりする場合に、システムはこうした後退を認識できる。研究チームは詳細な結果を公開するプロジェクトのウェブサイトも用意している。

本論文はロボティクス(cs.RO)に分類され、2026年10月22日に投稿された。筆頭著者はShuangyu Xie氏であり、全文はarXiv番号2610.31801から入手できる。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • KiRoSeは高コストなマルチカメラ映像入力ではなく、ロボットが生成する運動学データのストリームに着目する。
  • ハフマン符号化に着想を得た離散的な運動語彙「スパース・モーション・トークン(SMT)」で、繰り返し現れる局所的な運動パターンをコンパクトに表現する。
  • ロボット実演のサブタスク注釈を用いて言語モデルを教師あり学習し、トークン列を解釈させる。
  • 分割だけでなく、未知のロボット上でのタスク進捗の追跡や、動作が逆再生されていることの検出も可能にする。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。