跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

VL-MemKnG:融合时空知识图谱与混合记忆的长程自我中心导航问答框架

文章摘要

VL-MemKnG 提出一种混合记忆框架,将时空知识图谱与分段级上下文记忆相结合,用于长程自我中心视频的导航问答,在 WalkieKnowledgeT+ 基准上显著提升检索与推理性能,超越 Gemini 2.5 Pro 等强基线。

来源arXiv Robotics作者: Svetlana Lukina, Mohamad Al Mdfaa, Gloria Haro, Sergey Zagoruyko, Gonzalo Ferrer
VL-MemKnG:融合时空知识图谱与混合记忆的长程自我中心导航问答框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

VL-MemKnG 是俄罗斯研究团队提出的一种混合记忆框架,用于解决长时自我中心(egocentric)导航视频上的问答难题。该论文于 2026 年 6 月 15 日提交至 arXiv(编号 2606.17183),归类为机器人学(cs.RO),作者为 Svetlana Lukina 等共 5 人,全文约 3 MB。

研究动机在于:在长时自我中心视频中回答导航相关问题,需要检索并组织散布于相隔遥远时间点上的证据,同时保持空间与上下文的一致性。长上下文视觉—语言模型虽然能给出质量较高的答案,但对于长轨迹而言计算成本高昂,且在重复查询时效率低下。此前 VL-KnG 等方法通过持久化的时空知识图谱来应对这一挑战,然而仅依赖以图为中心的检索,可能会低估更宽泛的时间连续性与上下文线索。

为此,作者提出 VL-MemKnG,在 VL-KnG 基础上扩展出混合记忆框架,将时空知识图谱与持久化的片段级上下文记忆相结合。知识图谱负责捕捉结构化关系信息和长程物体关联,片段级记忆则保留更宏观的时间上下文,以支持长时程证据检索。系统设有一个混合检索与推理模块,同时在两种记忆表示上联合运作,从而生成有据可依的答案,以及按时间顺序组织的支撑证据。

作者还构建了 WalkieKnowledgeT+ 基准,这是 WalkieKnowledge 在长时程、面向导航的视频问答方向上的扩展版本。该基准包含时间上分散的推理任务,要求模型跨多个并非同时出现的时刻聚合证据。

在 WalkieKnowledgeT+ 上,VL-MemKnG 将 Top-1 检索准确率从 58% 提升至 67%,Recall@1 从 34.50% 提升至 40.55%,优于包括 Gemini 2.5 Pro 和 Qwen 3.5+ 在内的所有对比方法。这些增益在时间全局类问题和时间分散聚合类问题上尤为明显,说明将结构化关系记忆与片段级上下文记忆相结合,能够在保持查询时推理效率的同时带来显著收益。

展开要点与分析

文章情报

工程师进阶

要点

  • VL-MemKnG 在 VL-KnG 的基础上引入分段级持久上下文记忆,与时空知识图谱互补,共同支撑长程证据检索与推理。
  • 在自建的 WalkieKnowledgeT+ 基准上,Top-1 检索准确率从 58% 提升至 67%,Recall@1 从 34.50% 提升至 40.55%。
  • 该方法在需要跨多个非共现时刻聚合证据的时序全局与分散聚合问题上优势尤为明显。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。