動画類似度の測定方法：私がテストした6つの手法（そして採用したもの）

この記事では、動画類似度測定の課題と解決策を深く掘り下げています。著者は、熱帯の滝のビデオを参照クリップとして使用し、他の8つの滝クリップをテストセットとして用意しました。これにより、すべての手法が単なる「水がある」という認識ではなく、細かい色味、照明、構図、動きの違いを評価することを強いられました。ベンチマークは厳密に設定され、すべての手法に同じ6フレーム（各384×216ピクセル）が与えられました。人間によるラベルがないため、著者は最初の5手法のスコアを平均して擬似的な正解としました。

テストされた6つの手法は、ローカルで動作する軽量なものからクラウド上の大規模モデルまで多岐にわたります。GPT Visionは数フレームを渡すことでテーマ、色、雰囲気を判断し、洞察に富んだテキスト説明を返しますが、数値スコアは50から80の範囲に集中し、実行ごとに変動するため、類似したクリップのランク付けには適していませんでした。Gemini Flashは動画全体を処理し、実際の動き（ペースやカメラの動きを含む）を観察できる唯一の手法ですが、テスト中にエラーが発生し、最も遅く、あるクリップではスコアを得られませんでした。CLIPは各フレームをベクトルに変換し、平均してコサイン類似度を計算するローカル手法で、安定したスコアを提供しますが、全てのスコアが高い範囲に集中するため、絶対値としての意味は乏しいです。知覚ハッシュはフレームを64ビットの指紋に圧縮し、極めて高速ですが、ほとんど判別力がなく、単なる粗いフィルターとして機能します。CVマルチメトリックは、HSVヒストグラム（色）、SSIM（構造）、時間的カラープロファイル、エッジ密度を手動で重み付けして合成スコアを算出しますが、各指標が大きく異なる結果を出すことがあり、例えばSSIMはフレームのずれに敏感ですが、時間的プロファイルはほとんど影響を受けません。

Gemini Embedding 2はCLIPの進化版であり、動画全体を単一のblobとして処理し、3072次元の埋め込みベクトルを生成します。著者はフレームサンプリングの効果を調べるため、4、8、16、32、64フレームと動画全体での比較実験を行いました。その結果、4フレームから32フレームに増やすとスコアが65から70に向上する一方、処理時間は5.26秒から10.65秒に倍増しました。64フレームではスコアは変わらず、時間だけが14.6秒に増加しました。一方、動画全体を使用した場合、スコアは73で、時間は7.19秒と、4フレーム以上のサンプリングよりも正確で高速でした。これにより、「フレーム数を増やしても精度は頭打ちになり、待ち時間が増えるだけ」という結論が得られました。

最終的に、著者はGemini Embedding 2を実際の製品に採用しました。API呼び出しと数秒のレイテンシがかかるものの、その精度が決め手となりました。著者は「間違った答えが速くても無意味」と強調し、精度を最優先する姿勢を貫いています。この記事は、動画類似度測定における実践的なベンチマーク手法と、各技術の長所短所を詳細に解説しており、エンジニアにとって貴重な指針を提供しています。