連続潜在表現に基づく学習型ビデオコーデックは、0.1 bpp以下の超低ビットレートでは、微分可能なレート信号がないためラグランジュ最適化が効果的に機能せず、再構成品質とビットレートのトレードオフが困難でした。この制限は学習型コーデックの極端な圧縮シナリオへの応用を妨げていました。本論文(arXiv:2607.02562)では、離散潜在表現を用いることでこの問題を完全に回避する手法を提案しています。ベクトル量子化(VQ)コーデックでは、コードブックサイズKが1シンボルあたりlog2Kビットのハードな情報上限を課しますが、学習された自己回帰事前分布がコード使用の非一様分布——彼らはこれが冪乗則に従うことを示しました——を活用することで、レートペナルティチューニングなしに実際のビットレートをこの上限よりはるかに低く抑えます。
提案手法は、MS-VQ-VAEアーキテクチャを基盤とし、コードブックサイズK(128、256、512、1024)を系統的に評価し、統一訓練プロトコル下で4つの動作点をレート歪み曲線上にプロットしました。重要な発見として、K≤512では勾配ベースのVQが壊滅的に崩壊するのに対し、指数移動平均(EMA)で安定化されたコードブック更新とデッドコード再起動により、全ての設定でコードブックの完全利用が維持されました。この解決策は大規模VQモデルの安定訓練にとって重要な知見です。
UCF101データセットの500テストクリップ(64×64、32フレーム)を用いた実験では、モデルは0.043-0.064 bppで動作し、H.264の実用的下限の3.3~5倍、H.265の下限の5~7.6倍低いビットレートを実現しました。すべてのMS-VQ-VAE構成は、H.265 CRF 36と比較して5~7.6倍少ないビット数で知覚品質(LPIPS)を上回りました。K=1024では、LPIPSで絶対差0.072のマージンでH.265 CRF 36を凌駕し、5.1倍のビット削減を達成しました。コードブック分析により、冪乗則に従うインデックス分布と70-85%のエントロピー効率が確認され、このパイプラインが原理に基づいた学習型エントロピー符号器として確立されました。これらの結果は、離散表現が超低ビットレートで顕著な利点を持つことを示しており、特に帯域幅が制限されたリモート監視やモバイル動画などのアプリケーションにおいて、動画圧縮技術のさらなる発展が期待されます。今後の展望として、より大きなコードブックサイズや高度な事前分布モデルの探求が挙げられます。