时间印记:在多模态知识图谱中学习时间感知表示
多模态知识图谱通过文本和图像等模态丰富实体,但高度相似的多模态特征仍难以区分。时间信息可作为额外模态进行消歧,但现有方法因时间语义稀疏和多时间戳噪声而鲜有将时间作为独立模态。本文提出时间印记框架,将时间视为实体级模态,通过三视角对比目标对齐时间、文本和视觉表示,并设计紧凑时间戳子集选择与注意力池化以兼顾特异性和鲁棒性。实验表明,该方法在链接预测任务上达到最优,整体 Hits@1 提升最高 6.07%,在 top-1% 高歧义样本上提升达 58%。
多模态知识图谱(MMKG)通过整合文本、图像等模态信息来丰富实体表示,但在处理具有高度相似多模态特征的实体时仍面临挑战。这些实体往往混淆难辨,限制了知识图谱在下游任务中的性能。时间信息作为实体演化的重要维度,理论上可作为额外模态辅助消歧,然而现有研究鲜有将时间与文本、图像并列作为独立模态处理。主要障碍在于:时间语义稀疏,难以与丰富模态对齐;实体常关联多个时间戳,直接使用会引入噪声,降低表示鲁棒性。
针对上述问题,来自 Pengyu Zhang 等研究团队提出了“时间印记”框架。该框架首次将时间视为实体级模态,构建三视角对比学习目标,迫使时间、文本和视觉表示在共享空间中实现语义对齐。为了缓解多时间戳带来的歧义,框架进一步探索了紧凑时间戳子集选择的设计空间,并采用注意力池化机制将所选子集聚合为判别性时间嵌入,在时间特异性和鲁棒性之间取得平衡。
实验在三个标准 MMKG 基准上进行,评估链接预测性能。结果显示,时间印记在整体 Hits@1 上比现有最优方法提升最高 6.07%,而在歧义最严重的 top-1% 样本上,提升幅度高达 58%。此外,文章分析了不同融合策略以及时间戳可用性和质量对性能的影响,阐明了时间作为模态在何种条件下最为有效,且仅增加少量训练开销。代码已通过匿名仓库开源,便于社区复现和进一步研究。该成果已在 2026 年 7 月提交至 arXiv,属于计算机视觉与模式识别领域。