MEMORA：從第一人稱視頻中提取具身動作記憶用於推理與規劃

在機器人長期規劃任務中，僅僅預測下一步動作是不夠的，還需要對過去經驗的記憶來理解未來目標。為此，研究人員提出了具身行動記憶（Embodied Action Memory, EAM）的概念，並開發了MEMORA系統。MEMORA通過形成-鞏固-檢索的生命週期來管理記憶，包括四種類型的內存存儲：環境記憶、實體記憶、活動記憶和推斷知識。環境記憶記錄場景佈局和物體位置；實體記憶跟蹤物體身份和狀態變化；活動記憶記錄執行過程的順序步驟；推斷知識則從重複經驗中抽象出可複用的程序和參與者特定的規律。在線編輯機制在接收到新觀察時實時維護物體身份和狀態歷史，確保記憶的一致性；離線整合則從重複經驗中抽象出可複用的程序和參與者特定的規律。

為了評估這一記憶生命週期，作者在涵蓋18名參與者、總時長45小時的EPIC-KITCHENS-100擴展視頻數據集上建立了MEMORA-Bench基準。該基準包含兩種任務：基於記憶的規劃任務（包括未見過的目標）和補充的記憶評估任務。實驗在四個開源語言模型上進行，包括Llama、Mistral等。完整的MEMORA系統（結合在線編輯、四種類型存儲和離線整合）在所有測試條件下取得了最強大的綜合結果。與最強的控制基線相比，記憶評估準確率提升了最多20.5個百分點，而分佈外機器人接地規劃分數相對提升了16.6%。這些結果證明，結構化記憶對於機器人長期規劃至關重要。

此外，一項定性的雙任務機器人部署研究展示了基於記憶的語言計劃如何與下游控制接口協同工作。在真實機器人平台上，MEMORA系統能夠根據先前經驗生成合理的行動計劃，併成功指導機器人完成複雜任務。整體結果表明，可編輯和可整合的記憶能夠為機器人規劃提供所需的上下文信息。該論文是2026年機器人科學與系統研討會（RSS 2026）關於機器人規劃基礎模型研討會（FM4RoboPlan）的口頭報告論文，共43頁，9張圖表。論文由Zihao Yu等三位作者撰寫，於2026年7月15日提交至arXiv，主題涵蓋機器人學（cs.RO）、人工智能（cs.AI）和計算與語言（cs.CL）。項目頁面可在 https://yuzihaowashu.github.io/MEMORA/ 查閲。