MEMORA: 一人称視点動画からの身体化行動記憶による推論と計画

ロボットの長期計画には、次の行動を予測するだけでなく、過去の経験の記憶が必要です。人間は現在の状況だけで計画を立てるのではなく、記憶した場所、物体の状態変化、以前の手順、反復行動から明らかになった規則性を活用します。研究チームは、身体化行動記憶（Embodied Action Memory, EAM）を、そのような経験を形成・維持・利用して後の意思決定に役立てる能力として定式化し、MEMORAシステムを開発しました。MEMORAは形成・統合・検索のライフサイクルと、環境記憶、エンティティ記憶、アクティビティ記憶、推論知識の4つのタイプの記憶ストアを備えています。オンライン編集は新しい観測が到着するたびにオブジェクトのIDと状態履歴を維持し、オフライン統合は繰り返しの経験から再利用可能な手順と参加者固有の規則性を抽象化します。

MEMORA-Benchは、18人の参加者による45時間のEPIC-KITCHENS-100拡張ビデオでこのライフサイクルを評価します。テストには、未見の目標を含む記憶に基づく計画タスクと補完的な記憶評価タスクが含まれます。4つのオープンウェイト言語モデル（Llama、Mistralなど）において、完全なMEMORA（編集、タイプ別ストア、統合を組み合わせたもの）は、評価された記憶条件下で最も強力な総合結果を達成しました。最高の対照ベースラインと比較して、記憶評価精度が最大20.5ポイント向上し、分布外のロボット接地計画スコアが16.6％相対的に向上しました。これらの結果は、構造化された記憶がロボットの長期計画に不可欠であることを示しています。

さらに、質的な2タスクロボット展開研究により、記憶に基づく言語計画が下流の制御とどのように連携できるかが示されました。実際のロボットプラットフォームで、MEMORAシステムは以前の経験に基づいて合理的な行動計画を生成し、複雑なタスクを正常に実行しました。全体的な結果は、編集可能で統合された記憶がロボット計画に必要なコンテキストを提供できることを示しています。本論文は、2026年のロボティクス：科学とシステムワークショップ（RSS 2026）のロボット計画のための基盤モデルワークショップ（FM4RoboPlan）での口頭発表であり、43ページ、9図から構成されています。論文はZihao Yu氏を含む3名の著者によって執筆され、2026年7月15日にarXivに提出されました。主題はロボティクス（cs.RO）、人工知能（cs.AI）、計算と言語（cs.CL）です。プロジェクトページ：https://yuzihaowashu.github.io/MEMORA/