本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

ChronoStitch:長期間の時間的推論のための訓練不要なビジュアルKVメモリの構成

記事の要約

本論文では、長尺動画の質問応答における時間的推論を可能にするため、独立して保存されたビジュアルKVメモリを構成する訓練不要の手法ChronoStitchを提案する。保存されたポストロータリーキーをグローバルな3軸マルチモーダルRoPE座標系に再ベースし、高偏差のビジュアルトークンを選択的に再計算することで、単純な結合による時間位相の衝突と内容のギャップを克服する。Qwen2.5-VL-3BおよびTempCompassの時間的分割における実験では、イベント順序付けの精度が向上し、完全なジョイント再プリフィルと比較して3.3倍の高速化を達成した。

ソースarXiv Computer Vision著者: Santiram Tiwari, Nishant Sinha, Kunal Kislay
ChronoStitch:長期間の時間的推論のための訓練不要なビジュアルKVメモリの構成
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

長尺動画の質問応答は、コンピュータビジョンにおける重要な課題であり、モデルが同じ動画を繰り返し処理することなく、時間経過に伴う視覚証拠を保存し、イベントの順序や頻度、変化に関する質問に答える必要がある。実用的なアプローチとして、視覚言語モデル(VLM)の内部キー値(KV)キャッシュを動画チャンクごとに保存し、クエリ時にその状態を取得する方法がある。しかし、独立してキャッシュされた動画チャンクは正しく構成されない。各チャンクはローカルな回転位置ゼロから事前入力されるため、単純な結合は時間位相の衝突を引き起こし、グローバルな順序を失い、「何が最初に起こったか」「イベントの頻度」「動画全体で何が変化したか」といった質問に答えられなくなる。

この問題を解決するために、Santiram TiwariらはChronoStitchを提案した。これは追加訓練を必要としないビジュアルKVメモリの構成手法である。まず、保存されたポストロータリーキーを、時間、高さ、幅の構造を保持するグローバルな3軸マルチモーダルRoPE座標系に再ベースする。著者らは、1次元スカラーの再インデックス化がビジュアルトークンに対して幾何学的に一貫性がないことを示している。これは、フレーム内の空間順序を誤った時間変位に変換するためである。次に、位置修復後に残る内容のギャップに対処するため、ChronoStitchは後のチャンクの高偏差ビジュアルトークンのごく一部を選択的に再計算し、構成されたキャッシュに注意を向けさせるようにする。

実験では、Qwen2.5-VL-3BモデルとTempCompassベンチマークの時間的分割を使用した。その結果、ChronoStitchはイベント順序付けの精度において、単純な構成や位置のみのバリアントを上回り、完全なジョイント再プリフィルと比較して3.3倍の高速化を達成した。この手法は、長尺動画理解のための効率的で追加訓練を必要としないソリューションを提供し、動画質問応答、動画要約、監視などの応用に貢献することが期待される。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 長尺動画QAでは時間経過に伴う視覚証拠の保存が必要であり、KVキャッシュは実用的だが単純な結合ではグローバルな順序が失われる。
  • ChronoStitchはキーをグローバルなRoPE座標系に再ベースし、高偏差のトークンを選択的に再計算することで訓練不要の構成を実現する。
  • イベント順序付けのベースラインを上回り、完全なジョイント再プリフィルよりも3.3倍高速である。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。