VL-MemKnG 是俄罗斯研究团队提出的一种混合记忆框架,用于解决长时自我中心(egocentric)导航视频上的问答难题。该论文于 2026 年 6 月 15 日提交至 arXiv(编号 2606.17183),归类为机器人学(cs.RO),作者为 Svetlana Lukina 等共 5 人,全文约 3 MB。
研究动机在于:在长时自我中心视频中回答导航相关问题,需要检索并组织散布于相隔遥远时间点上的证据,同时保持空间与上下文的一致性。长上下文视觉—语言模型虽然能给出质量较高的答案,但对于长轨迹而言计算成本高昂,且在重复查询时效率低下。此前 VL-KnG 等方法通过持久化的时空知识图谱来应对这一挑战,然而仅依赖以图为中心的检索,可能会低估更宽泛的时间连续性与上下文线索。
为此,作者提出 VL-MemKnG,在 VL-KnG 基础上扩展出混合记忆框架,将时空知识图谱与持久化的片段级上下文记忆相结合。知识图谱负责捕捉结构化关系信息和长程物体关联,片段级记忆则保留更宏观的时间上下文,以支持长时程证据检索。系统设有一个混合检索与推理模块,同时在两种记忆表示上联合运作,从而生成有据可依的答案,以及按时间顺序组织的支撑证据。
作者还构建了 WalkieKnowledgeT+ 基准,这是 WalkieKnowledge 在长时程、面向导航的视频问答方向上的扩展版本。该基准包含时间上分散的推理任务,要求模型跨多个并非同时出现的时刻聚合证据。
在 WalkieKnowledgeT+ 上,VL-MemKnG 将 Top-1 检索准确率从 58% 提升至 67%,Recall@1 从 34.50% 提升至 40.55%,优于包括 Gemini 2.5 Pro 和 Qwen 3.5+ 在内的所有对比方法。这些增益在时间全局类问题和时间分散聚合类问题上尤为明显,说明将结构化关系记忆与片段级上下文记忆相结合,能够在保持查询时推理效率的同时带来显著收益。