跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

時間印記:在多模態知識圖譜中學習時間感知表示

文章摘要

多模態知識圖譜透過文本和影像等模態豐富實體,但高度相似的多模態特徵仍難以區分。時間資訊可作為額外模態進行消歧,但現有方法因時間語義稀疏和多時間戳噪聲而鮮有將時間作為獨立模態。本文提出時間印記框架,將時間視為實體級模態,透過三視角對比目標對齊時間、文本和視覺表示,並設計緊湊時間戳子集選擇與注意力池化以兼顧特異性和魯棒性。實驗表明,該方法在連結預測任務上達到最優,整體 Hits@1 提升最高 6.07%,在 top-1% 高歧義樣本上提升達 58%。

來源arXiv Computer Vision作者: Pengyu Zhang, Klim Zaporojets, Congfeng Cao, Jia-Hong Huang, Paul Groth
時間印記:在多模態知識圖譜中學習時間感知表示
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

多模態知識圖譜(MMKG)透過整合文本、影像等模態資訊來豐富實體表示,但在處理具有高度相似多模態特徵的實體時仍面臨挑戰。這些實體往往混淆難辨,限制了知識圖譜在下游任務中的效能。時間資訊作為實體演化的重要維度,理論上可作為額外模態輔助消歧,然而現有研究鮮有將時間與文本、影像並列作為獨立模態處理。主要障礙在於:時間語義稀疏,難以與豐富模態對齊;實體常關聯多個時間戳,直接使用會引入噪聲,降低表示魯棒性。

針對上述問題,來自 Pengyu Zhang 等研究團隊提出了“時間印記”框架。該框架首次將時間視為實體級模態,構建三視角對比學習目標,迫使時間、文本和視覺表示在共享空間中實現語義對齊。為了緩解多時間戳帶來的歧義,框架進一步探索了緊湊時間戳子集選擇的設計空間,並採用注意力池化機制將所選子集聚合為判別性時間嵌入,在時間特異性和魯棒性之間取得平衡。

實驗在三個標準 MMKG 基準上進行,評估連結預測效能。結果顯示,時間印記在整體 Hits@1 上比現有最優方法提升最高 6.07%,而在歧義最嚴重的 top-1% 樣本上,提升幅度高達 58%。此外,文章分析了不同融合策略以及時間戳可用性和質量對效能的影響,闡明瞭時間作為模態在何種條件下最為有效,且僅增加少量訓練開銷。程式碼已透過匿名倉庫開源,便於社群復現和進一步研究。該成果已在 2026 年 7 月提交至 arXiv,屬於計算機視覺與模式識別領域。

展開要點與分析

文章情報

工程師進階

要點

  • 提出將時間作為獨立模態融入多模態知識圖譜,透過三視角對比學習對齊多模態表示。
  • 設計緊湊時間戳子集選擇和注意力池化,解決多時間戳歧義問題。
  • 在三個資料集上實現最先進連結預測效能,尤其在高歧義樣本上提升顯著。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。