ロボットマニピュレーションにおいて、部分観測性は長く続く課題である。現在の観測だけでは、物体が遮蔽されているのか、目標がすでに動いたのか、直前の行動がどのような効果をもたらしたのかを判断するのが難しい場合が多い。従来のロボット表現事前学習は主に単一フレームの視覚符号化に焦点を当てており、豊かな空間特徴を抽出できる一方で、マニピュレーションタスクが本質的に持つ時間的な性質を無視しがちであった。この問題に対して、研究チームはAEM（Action-Effect Memory）と呼ばれる行動-効果記憶事前学習フレームワークを提案し、視覚-行動履歴からコンパクトな時間表現を学習することで、下流の制御に信頼できる履歴文脈を提供しようとしている。
AEMの中核となる考え方は、マニピュレーションを行動駆動型の相互作用系列としてモデル化することにある。履歴フレームを単純に積み重ねるのではなく、視覚特徴と行動特徴を交互に配置することで、モデルは「何を見たか」と「何をしたか」を同じ系列内で同時に扱える。その上で、AEMはマスク付きモデリング戦略を採用し、不完全な履歴入力から欠落内容を復元させる。これにより、モデルは行動と視覚変化の間の因果関係を学習し、行動条件付きの状態発展を獲得する。この事前学習は、静的画像理解にとどまらず、マニピュレーションの時間的本質に直接向き合うものである。
アーキテクチャ設計では、AEMは交互系列をMambaで符号化し、最終視覚トークンの符号化出力をコンパクトな履歴表現として用いる。この表現は単一ベクトルのボトルネックであり、これまでの視覚-行動履歴を凝縮すると同時に、デコードと下流制御のグローバル文脈として機能する。研究者らは、この設計が時間情報を保持しつつ、過度に長い文脈窓を避けることで推論効率を維持すると強調している。リアルタイム応答が求められるロボットシステムにとって、この効率上の利点は特に重要である。
手法の汎用性を検証するため、研究チームはAEMを2つの主要な政策学習フレームワーク、Diffusion PolicyとFlow Policyに組み合わせた。シミュレーション環境と実世界設定の両方で、AEMは安定した性能向上を示した。実験は整然とした場面、混雑してランダムな場面、さらに非マルコフ的性質を持つタスクをカバーしている。非マルコフ的タスクでは、現在の観測だけでは最適な行動を決定できず、履歴情報に依存する必要がある。これらの場面で、AEMはベースライン手法を上回るマニピュレーション性能を達成した。
アブレーション研究は、履歴認識型事前学習の価値をさらに明らかにしている。結果は、AEMの履歴認識型事前学習が単一フレーム事前学習や履歴フレームの直接積み重ねよりも優れていることを示した。同時に、AEMは性能を向上させながら推論遅延と計算コストを削減しており、コンパクトな時間ボトルネックが効率を犠牲にしていないことを示唆している。本論文は2026年6月10日に投稿され、Yijing Zhouら8名の著者によるロボティクス（cs.RO）分野のプレプリントである。