長尺動画の質問応答は、コンピュータビジョンにおける重要な課題であり、モデルが同じ動画を繰り返し処理することなく、時間経過に伴う視覚証拠を保存し、イベントの順序や頻度、変化に関する質問に答える必要がある。実用的なアプローチとして、視覚言語モデル(VLM)の内部キー値(KV)キャッシュを動画チャンクごとに保存し、クエリ時にその状態を取得する方法がある。しかし、独立してキャッシュされた動画チャンクは正しく構成されない。各チャンクはローカルな回転位置ゼロから事前入力されるため、単純な結合は時間位相の衝突を引き起こし、グローバルな順序を失い、「何が最初に起こったか」「イベントの頻度」「動画全体で何が変化したか」といった質問に答えられなくなる。
この問題を解決するために、Santiram TiwariらはChronoStitchを提案した。これは追加訓練を必要としないビジュアルKVメモリの構成手法である。まず、保存されたポストロータリーキーを、時間、高さ、幅の構造を保持するグローバルな3軸マルチモーダルRoPE座標系に再ベースする。著者らは、1次元スカラーの再インデックス化がビジュアルトークンに対して幾何学的に一貫性がないことを示している。これは、フレーム内の空間順序を誤った時間変位に変換するためである。次に、位置修復後に残る内容のギャップに対処するため、ChronoStitchは後のチャンクの高偏差ビジュアルトークンのごく一部を選択的に再計算し、構成されたキャッシュに注意を向けさせるようにする。
実験では、Qwen2.5-VL-3BモデルとTempCompassベンチマークの時間的分割を使用した。その結果、ChronoStitchはイベント順序付けの精度において、単純な構成や位置のみのバリアントを上回り、完全なジョイント再プリフィルと比較して3.3倍の高速化を達成した。この手法は、長尺動画理解のための効率的で追加訓練を必要としないソリューションを提供し、動画質問応答、動画要約、監視などの応用に貢献することが期待される。