如何衡量視頻相似度：我測試的6種技術（以及我最終採用的那一種）

本文深入探討了視頻相似度測量的核心挑戰。作者以一段熱帶瀑布視頻作為參考，並準備了另外八個瀑布片段作為測試集，旨在逼迫所有方法在細微的顏色、光照、構圖和運動上做出判斷，而非僅僅識別“是否有水”。基準設置嚴格：所有方法使用相同的六幀採樣，每幀縮放到384×216像素。由於缺乏人工標註，作者將前五種方法的得分平均作為偽標籤，儘管不完美，但被認為可防禦。

測試的六種技術涵蓋了從本地輕量算法到雲端大模型的不同方案。GPT Vision能夠提供富有洞察力的文本反饋（例如“視覺主題、調色板和整體情緒存在顯著差異”），但數值得分在50到80之間聚集，且在不同運行間波動，難以對相似的瀑布片段進行精細排序。Gemini Flash是唯一真正觀察整個視頻運動（包括節奏和相機移動）的方法，理論上優勢巨大，但實際速度最慢，在測試中遇到了503和429錯誤，導致一個片段完全無法評分。CLIP作為本地運行的基線，每個幀被轉換為向量後取平均，再計算餘弦相似度，雖然得分穩定且排序合理，但所有分數都集中在85到95之間，即使對並不相似的片段也是如此，因此絕對分值缺乏意義。感知哈希將每幀壓縮為64位指紋，速度極快（比其他方法快50倍），但幾乎不具備判別力，只能作為粗暴的篩選。CV多指標組合了HSV直方圖（顏色）、SSIM（結構）、時間顏色輪廓和邊緣密度，作者通過手動加權得到複合分數。這種方法的問題在於不同指標間可能存在巨大分歧，例如SSIM對構圖偏移敏感，而時間輪廓幾乎不受影響，導致同一視頻在某指標上得分99，在另一指標上僅有18。

Gemini Embedding 2被描述為CLIP的進化版，但能處理完整的視頻輸入，無需幀採樣。它將整個視頻文件作為單個blob上傳，生成3072維的嵌入向量，然後通過餘弦相似度進行比較。作者進行了幀採樣對比實驗：使用4、8、16、32、64幀以及完整視頻，結果發現從4幀增加到32幀僅使得分從65提升到70（增加5分），但處理時間從5.26秒翻倍到10.65秒；而使用完整視頻時，得分為73，時間僅為7.19秒，既優於所有幀採樣方案，又比採樣超過4幀的方案更快。這證實了“更多幀並不意味着更好準確性，只是更長的等待”。

最終，作者選擇了Gemini Embedding 2作為實際部署的方案，儘管它需要API調用和幾秒鐘的延遲，但其準確性無可比擬。作者強調，準確性是首要考量，因為“快速但錯誤的答案毫無用處”。文章還提到了一些實際注意事項，比如校準陷阱（得分分佈可能集中在某個區間）以及成本權衡。儘管輸入文本在結尾處有截斷，但已提供足夠的內容來撰寫一篇詳細的技術文章。