跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

ChronoStitch:無需訓練的視覺KV記憶組合方法實現長時域推理

文章摘要

本文提出ChronoStitch,一種無需訓練的方法,用於組合獨立存儲的視覺鍵值(KV)記憶,以解決長視頻問答中的時域推理問題。該方法通過將存儲的旋轉後鍵重新映射到全局多模態RoPE座標系,並選擇性重計算部分高偏差視覺令牌,克服了樸素拼接導致的時間相位衝突和內容缺失。實驗表明,在Qwen2.5-VL-3B和TempCompass時域分割上,ChronoStitch在事件順序準確性上優於樸素組合和僅位置變體,且速度比完整聯合預填充快3.3倍。

來源arXiv Computer Vision作者: Santiram Tiwari, Nishant Sinha, Kunal Kislay
ChronoStitch:無需訓練的視覺KV記憶組合方法實現長時域推理
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長視頻問答(Long-video QA)是計算機視覺領域的重要挑戰,要求模型能夠在不重複處理相同視頻的情況下,隨時間保留視覺證據並回答關於事件順序、頻率和變化的問題。一個實用的解決方案是存儲視覺語言模型(VLM)內部每個視頻塊的鍵值(KV)緩存,並在查詢時檢索這些狀態。然而,獨立緩存的視頻塊無法正確組合:每個塊都是從局部旋轉位置零開始預填充的,因此樸素拼接會導致時間相位衝突,並丟失全局順序,從而無法回答關於“什麼先發生”、“事件發生頻率”或“視頻中哪些部分發生了變化”等問題。

為了克服這一侷限,Santiram Tiwari等人在其論文中提出了ChronoStitch,一種無需額外訓練的視覺KV記憶組合方法。該方法首先將存儲的後旋轉鍵重新基於一個全局三軸多模態RoPE(Rotary Position Embedding)座標系,該座標系能夠保留時間、高度和寬度結構。作者證明,簡單的一維標量重新索引對於視覺令牌在幾何上是不一致的,因為它會將幀內的空間順序轉化為虛假的時間位移。為了解決位置修復後殘留的內容差距——即後續塊在最初編碼時沒有關注前面的塊——ChronoStitch選擇性地重新計算後續塊中一小部分高偏差的視覺令牌,同時允許它們關注組合後的緩存。

實驗部分,研究團隊在Qwen2.5-VL-3B模型和TempCompass基準的時域分割上進行了評估。結果顯示,ChronoStitch在事件排序準確性上顯著優於樸素組合和僅位置變體,同時運行速度比完整聯合預填充快3.3倍。這一結果為長視頻理解提供了一種高效、無需額外訓練的解決方案,有望推動視頻問答、視頻摘要和視頻監控等應用的發展。

展開要點與分析

文章情報

工程師進階

要點

  • 長視頻問答需要模型隨時間保存視覺證據,KV緩存是一種實用方法,但獨立緩存拼接會丟失全局時間順序。
  • ChronoStitch通過重新基於全局三軸多模態RoPE座標系調整鍵,並選擇性重計算高偏差令牌,實現了無需訓練的記憶組合。
  • 該方法在事件排序準確性上超越基線,運行速度比完整聯合預填充快3.3倍。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。