NativeMEM: 長期ロボット操作のためのネイティブメモリ圧縮

視覚・言語・行動（VLA）モデルは、ロボット操作において大きな可能性を示していますが、長期的な視覚履歴を高頻度で更新しながら効率的に保持することは課題です。従来の外部メモリ管理では、記憶範囲または応答性のいずれかが制限されていました。これに対し、研究チームはNativeMEMを提案します。これは、長期かつリアルタイム更新可能なメモリを備えたVLAポリシーです。中核となるのは、VLA自身の視覚エンコーダを再利用し、各カメラビューの各フレームを単一トークンに圧縮する「ネイティブメモリ圧縮」方式です。これらのメモリトークンは入力シーケンスに追加され、外部プランナーや新たに初期化されたメモリモジュールを必要とせず、無視できるレイテンシオーバーヘッドで長期履歴に注意を向けることを可能にします。メモリトークンを事前訓練済みポリシーに整合させるため、最初に凍結したVLAの監督下で汎用メモリトークナイザを記憶要求の高いデータで訓練し、その後VLAの凍結を解除してタスク固有の微調整を行います。実験では、NativeMEMは従来手法を一貫して上回り、シミュレーションで成功率を32.4%から84.0%に、実ロボットでは最大98.7%に向上させました。さらに、低推論遅延と低GPUメモリ使用量を維持し、訓練データの20%のみで最先端手法と同等の結果を達成するデータ効率を示しました。本研究成果はarXiv（2607.06678）で公開されており、2026年7月7日に投稿されました。著者はZiye Wangを含む8名です。長期ロボット操作のための効率的でプラグアンドプレイな記憶ソリューションを提供し、VLAモデルの複雑な連続タスクへの応用を促進することが期待されます。