ReflectWorld-MM：面向實體的開放影片流多媒體記憶系統

ReflectWorld-MM：面向實體的開放影片流多媒體記憶系統

近日，來自Xiaokang Ma等九位研究者的論文《ReflectWorld-MM: An Entity-Oriented Multi-Media Memory System for Open-Ended Video Streams》在arXiv上公開，提出了一種全新的影片記憶系統，旨在賦予AI助手持續觀看、記憶和推理影片內容的能力。

長期以來，構建能夠不間斷觀察世界、記住所見並基於積累經驗進行推理的助手一直是人工智慧領域的長期目標。近年來，多模態智慧體搭配影片流長期記憶的研究逐漸升溫。然而，現有的系統存在根本性限制：它們要麼將記憶完全放置在模型上下文內，要麼使用扁平的儲存結構，並且均以幀為基本單位組織記憶，而不是圍繞影片流中真正重要的持久實體。這種設計使得系統只能處理有界的影片片段，並且難以跟蹤隨時間重複出現的物件或個體。

ReflectWorld-MM正是為破解這一困境而設計。它由三個核心元件構成：感知前端、分層長期記憶以及實際部署框架。

感知前端的作用是將連續的流式影片轉化為基於實體的觀測資料，並在有限的短期記憶約束下執行。例如，它會從每一幀中提取物件、人、動作等資訊，並維護一個短暫的實體狀態快取。

分層長期記憶模組的設計深受人類記憶理論啟發。它包含三個子系統：多尺度情景記憶，用於記錄事件的時間序列，能夠以不同粒度組織事件；不斷演化的實體中心語義記憶，負責儲存關於實體的知識，如外觀、屬性、關係等；以及程式記憶，儲存如何進行操作和互動的技能。這種分層結構使得系統能夠高效檢索並整合長期資訊。

第三個元件是完整的實際實現，它能夠無縫接入任意影片流，並即插即用地整合到現有的AI助手中，如對話系統或機器人控制器。

在實驗部分，研究團隊使用了六個長影片和終身記憶基準來評估系統效能，涵蓋了長期人物重識別、事件定位、視覺問答等任務。結果表明，ReflectWorld-MM在所有六個基準上均取得了最佳準確率，大幅超越了此前的最強記憶體和前沿模型。值得注意的是，這些基準中的影片時長往往超過數十分鐘甚至數小時，而ReflectWorld-MM的實體中心記憶機制使其能夠穩定維持對這些內容的記憶。

該工作對於開發真正具備持續學習能力的影片理解代理具有里程碑意義。未來，在智慧監控、機器人視覺導航、個人生活記錄等應用中，ReflectWorld-MM有望發揮關鍵作用。論文目前已在arXiv上公開，作者表示將逐步開放程式碼和模型。