NativeMEM: 原生記憶壓縮實現長時域機器人操作

以視覺-語言-動作（VLA）模型為代表的預訓練策略在機器人操作領域展現出巨大潛力，但在處理長時域任務時面臨關鍵挑戰：如何在保持高頻更新的同時高效保留長達數小時的視覺歷史？傳統方法依賴外部存儲管理，但往往犧牲了記憶時長或響應速度。針對此問題，來自學術界的研究團隊提出了NativeMEM，一種內置長期實時記憶的VLA策略。其核心技術是“原生記憶壓縮”（Native Memory Compression），巧妙複用VLA模型自身的視覺編碼器，將來自每個攝像頭視角的每一幀歷史圖像壓縮為單個令牌（token）。這些記憶令牌被附加到輸入序列末尾，使得預訓練VLA能夠以極低的延遲開銷關注長期歷史，無需外部規劃器或新初始化的記憶模塊。為了使記憶令牌與預訓練策略對齊，研究團隊首先凍結VLA模型，在需要記憶的數據上通過監督學習訓練一個通用記憶令牌器（memory tokenizer），隨後解凍VLA進行任務特定微調。實驗結果顯示，在模擬環境中，NativeMEM將成功率從32.4%大幅提升至84.0%，在真實機器人上更是達到98.7%，同時保持低推理延遲和低GPU內存消耗。此外，該方案展現出顯著的數據效率，僅使用20%的訓練數據即可達到與先前方法相當的性能。該成果發表於arXiv（2607.06678），提交於2026年7月7日，由Ziye Wang等8位作者完成。該工作為長時域機器人操作提供了一個高效、簡便且即插即用的記憶解決方案，有望推動VLA模型在複雜連續任務中的實際應用。