長影片問答(Long-video QA)是計算機視覺領域的重要挑戰,要求模型能夠在不重複處理相同影片的情況下,隨時間保留視覺證據並回答關於事件順序、頻率和變化的問題。一個實用的解決方案是儲存視覺語言模型(VLM)內部每個影片塊的鍵值(KV)快取,並在查詢時檢索這些狀態。然而,獨立快取的影片塊無法正確組合:每個塊都是從區域性旋轉位置零開始預填充的,因此樸素拼接會導致時間相位衝突,並丟失全域性順序,從而無法回答關於“什麼先發生”、“事件發生頻率”或“影片中哪些部分發生了變化”等問題。
為了克服這一侷限,Santiram Tiwari等人在其論文中提出了ChronoStitch,一種無需額外訓練的視覺KV記憶組合方法。該方法首先將儲存的後旋轉鍵重新基於一個全域性三軸多模態RoPE(Rotary Position Embedding)座標系,該座標系能夠保留時間、高度和寬度結構。作者證明,簡單的一維標量重新索引對於視覺令牌在幾何上是不一致的,因為它會將幀內的空間順序轉化為虛假的時間位移。為了解決位置修復後殘留的內容差距——即後續塊在最初編碼時沒有關注前面的塊——ChronoStitch選擇性地重新計算後續塊中一小部分高偏差的視覺令牌,同時允許它們關注組合後的快取。
實驗部分,研究團隊在Qwen2.5-VL-3B模型和TempCompass基準的時域分割上進行了評估。結果顯示,ChronoStitch在事件排序準確性上顯著優於樸素組合和僅位置變體,同時執行速度比完整聯合預填充快3.3倍。這一結果為長影片理解提供了一種高效、無需額外訓練的解決方案,有望推動影片問答、影片摘要和影片監控等應用的發展。