本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

T-WLA:遅い視覚と速い触覚をつなぐ

記事の要約

本論文は、共有された視覚メモリを用いて基本動作の生成と軽量な触覚補正の双方を導く world-language-action アーキテクチャ T-WLA を提案する。視覚ポリシーを再実行することなく接触状態の変化に迅速に対応でき、指関節の MPJPE を 30% 削減し、実機の巧みな操作4タスクで平均約 50.0% の成功率を達成した。

ソースarXiv Robotics著者: Kaichen Zhou, Yuzhen Chen, Hannah Yao, Chonghe Jiang, Rao Fu, Xihang Yu, Wei Dai, Bashar Kabbarah, Haoyu Chen, Ishita Goluguri, Zhiyang Dou, Haonan Chen, Fangneng Zhan, Mengyu Wang, Wojciech Matusik, Antonio Torralba, Paul Pu Liang
T-WLA:遅い視覚と速い触覚をつなぐ
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

arXiv は 2026 年 10 月 20 日(火)18:36:13 UTC に、Kaichen Zhou 氏を筆頭とし全 17 名の共著者による論文「T-WLA: Bridging Slow Vision and Fast Touch」を受理した。識別子は arXiv:2610.28814v1、分類はロボティクス(cs.RO)、投稿者は Yuzhen Chen 氏で、原稿サイズは約 34,301 KB である。本論文が扱う問題は、接触を伴うマニピュレーションにおいて、視覚ポリシーが行動計画を更新する前に接触状態が変化し得るという点にある。視覚ポリシーを通じて計画を再計算すると遅延が生じる一方、触覚フィードバックだけでは、進行中の運動をタスクに照らしてどのように修正すべきかを特定できない。そこで著者らは、共有された視覚メモリを用いて行動生成と触覚補正の双方を導く world-language-action アーキテクチャ「T-WLA」を提案する。

仕組みとしては、視覚更新のたびに、視覚ブランチが現在の画像、タスク指示、および検索された履歴を統合して視覚メモリを形成し、これがベース行動の生成を条件付ける。同じメモリはキャッシュされ、軽量な触覚エディタに渡される。触覚エディタはこれを実行中の行動チャンクおよび新たに到着した触覚信号と組み合わせ、視覚ブランチを再実行することなく、未実行の行動に対する残差補正を予測する。この設計により、低速な視覚更新と高速な触覚フィードバックがそれぞれの役割を担うことになる。訓練時には、未来画像予測と未来圧力予測が訓練専用の教師信号として用いられ、視覚メモリと触覚特徴が、行動生成および補正に関連する相互作用のダイナミクスを捉えるよう促す。

評価は二部構成である。第一に、EgoTouch と Tachin を用いた触覚条件付き手運動予測、第二に、4 つの実世界の巧緻マニピュレーションタスクでの実機実験である。結果として、T-WLA は報告されている最強のベースラインと比較して手指関節の MPJPE を 30% 削減し、実機ロボットのマニピュレーションタスク全体で約 50.0% の平均成功率を達成した。著者らは動画とコードを公開しており、プロジェクトページは https://anonymous-submission-20.github.io/T-WLA.github.io/ である。なお、この arXiv ページにはベースラインの詳細、タスクの具体的構成、訓練データ規模、タスクごとの成功率は示されていない点に留意が必要である。また平均成功率が約 50.0% であることは、実機条件下でこの方向に依然として大きな改善余地があることを示唆する。DOI は https://doi.org/10.48550/arXiv.2610.28814 で、DataCite により発行される予定(登録手続き中)であり、全文は PDF、実験用 HTML、TeX ソースなどの形式で閲覧できる。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • 共有視覚メモリが基本動作生成と触覚補正の両方を条件付け、視覚分岐の再計算を不要にする
  • 軽量な触覚エディタがキャッシュされたメモリ、実行中の動作チャンク、触覚入力から未実行動作の残差補正を予測する
  • 未来画像と未来圧力の予測は訓練時のみの監視として用いられる
  • 指関節 MPJPE を最強のベースライン比で 30% 削減し、実機操作タスクで平均約 50.0% の成功率を達成

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。