ReflectWorld-MM：面向实体的开放视频流多媒体记忆系统

ReflectWorld-MM：面向实体的开放视频流多媒体记忆系统

近日，来自Xiaokang Ma等九位研究者的论文《ReflectWorld-MM: An Entity-Oriented Multi-Media Memory System for Open-Ended Video Streams》在arXiv上公开，提出了一种全新的视频记忆系统，旨在赋予AI助手持续观看、记忆和推理视频内容的能力。

长期以来，构建能够不间断观察世界、记住所见并基于积累经验进行推理的助手一直是人工智能领域的长期目标。近年来，多模态智能体搭配视频流长期记忆的研究逐渐升温。然而，现有的系统存在根本性限制：它们要么将记忆完全放置在模型上下文内，要么使用扁平的存储结构，并且均以帧为基本单位组织记忆，而不是围绕视频流中真正重要的持久实体。这种设计使得系统只能处理有界的视频片段，并且难以跟踪随时间重复出现的对象或个体。

ReflectWorld-MM正是为破解这一困境而设计。它由三个核心组件构成：感知前端、分层长期记忆以及实际部署框架。

感知前端的作用是将连续的流式视频转化为基于实体的观测数据，并在有限的短期记忆约束下运行。例如，它会从每一帧中提取对象、人、动作等信息，并维护一个短暂的实体状态缓存。

分层长期记忆模块的设计深受人类记忆理论启发。它包含三个子系统：多尺度情景记忆，用于记录事件的时间序列，能够以不同粒度组织事件；不断演化的实体中心语义记忆，负责存储关于实体的知识，如外观、属性、关系等；以及程序记忆，储存如何进行操作和交互的技能。这种分层结构使得系统能够高效检索并整合长期信息。

第三个组件是完整的实际实现，它能够无缝接入任意视频流，并即插即用地集成到现有的AI助手中，如对话系统或机器人控制器。

在实验部分，研究团队使用了六个长视频和终身记忆基准来评估系统性能，涵盖了长期人物重识别、事件定位、视觉问答等任务。结果表明，ReflectWorld-MM在所有六个基准上均取得了最佳准确率，大幅超越了此前的最强记忆体和前沿模型。值得注意的是，这些基准中的视频时长往往超过数十分钟甚至数小时，而ReflectWorld-MM的实体中心记忆机制使其能够稳定维持对这些内容的记忆。

该工作对于开发真正具备持续学习能力的视频理解代理具有里程碑意义。未来，在智能监控、机器人视觉导航、个人生活记录等应用中，ReflectWorld-MM有望发挥关键作用。论文目前已在arXiv上公开，作者表示将逐步开放代码和模型。