通用機器人在家庭等部分可觀察環境中工作時，需要記憶來支援自主操作。它們必須回憶過去的各種資訊，例如物品放置位置、人類夥伴完成的任務以及電器開啟時間。實現這種多功能性需要一種通用的記憶檢索機制。基於Transformer的架構透過長上下文注意力進行記憶檢索提供了有前景的方法，因為它能從資料中學習檢索，而非依賴特定任務或手工設計的規則。然而，將其直接應用於從離線資料進行的模仿學習會帶來兩個關鍵挑戰：（1）策略可能學習到過去資訊與預測動作之間的虛假相關性；（2）由於預測不準確及其與環境互動的累積，記憶中的錯誤會不斷累積，導致模型漂移和級聯故障。
為了解決這兩個挑戰，我們引入了HALO，一種基於注意力記憶檢索機制的視覺運動策略，用於長時程控制。首先，為了抑制虛假相關性，HALO將視覺語言模型（VLM）的先驗知識蒸餾到策略中。它從演示軌跡中生成依賴記憶的問題-答案對，並與影片問答目標聯合訓練，引導檢索朝向任務相關資訊。其次，為了減少閉環控制中記憶錯誤累積的影響，HALO使用稀疏注意力，將檢索限制在歷史中最相關的部分。這些元件共同使策略能從長達8分鐘的過去經驗中可靠地檢索任務相關資訊，實現更可靠的長時程控制。
HALO的工作流程包括：透過蒸餾VLM先驗，策略學會區分任務相關和無關的過去資訊，避免學到虛假模式。稀疏注意力機制則確保在控制過程中，只有最相關的歷史片段被用於當前決策，從而減少錯誤傳播。實驗表明，HALO在多種長時程任務中表現優於基線方法，尤其是在需要長時間記憶的複雜環境中。
這一研究對於推動家用機器人等應用具有重要意義。透過結合視覺語言模型的知識和注意力機制，HALO為機器人在部分可觀察環境中實現自主操作鋪平了道路。未來，該方法可能擴充套件到更長期記憶和更復雜場景。
專案網站：https://robin-lab.cs.utexas.edu/HALO