基於熵編碼的MS-VQ-VAE與學習先驗的超低比特率視頻壓縮
該研究提出一種基於離散潛在表示的熵編碼MS-VQ-VAE框架，在超低比特率（低於0.1 bpp）下顯著優於H.265。通過矢量量化（VQ）碼本大小K的硬信息上限和學習自迴歸先驗，利用碼本使用的冪律分佈，無需率懲罰調優即可實現極低碼率。在UCF101數據集上，模型以0.043-0.064 bpp運行，比特率僅為H.264和H.265的幾分之一，同時感知質量（LPIPS）更高。
近年來，學習型視頻編碼器在連續潛在表示方面取得了顯著進展，但在極低比特率（低於0.1比特每像素，bpp）下，由於缺乏可微分的率信號，拉格朗日優化難以有效權衡重建質量與比特率。這一瓶頸限制了學習型編解碼器在極端壓縮場景下的應用。來自arXiv的一篇新論文（arXiv:2607.02562）提出了一種基於離散潛在表示的熵編碼MS-VQ-VAE框架，徹底規避了這一限制。該框架利用矢量量化（VQ）碼本的硬信息上限，並通過學習自迴歸先驗來利用碼本使用的非均勻分佈——他們發現碼本使用遵循冪律分佈——從而在不進行率懲罰調優的情況下將實際比特率推至遠低於該上限。
該研究建立在MS-VQ-VAE架構之上，通過系統評估碼本大小K（128、256、512、1024），在統一訓練協議下追蹤率失真曲線上的四個操作點。研究過程中，他們發現並解決了一個關鍵的訓練不穩定性：基於梯度的VQ在K≤512時會災難性崩潰，而採用指數移動平均（EMA）穩定化的碼本更新與死碼重啓技術可在所有配置下保持全碼本利用。這一發現對於大規模VQ模型的穩定訓練具有重要指導意義。
實驗使用500個UCF101測試片段（64×64像素，32幀），模型在0.043-0.064 bpp下運行，比H.264的實際下限低3.3至5倍，比H.265的下限低5至7.6倍。所有MS-VQ-VAE配置在使用5至7.6倍更少比特的情況下，在感知質量（LPIPS）上均優於H.265 CRF 36。當K=1024時，模型在LPIPS上以0.072的絕對優勢超越H.265 CRF 36，同時使用5.1倍更少的比特。碼本分析證實了冪律索引分佈和70-85%的熵效率，將該管道確立為一種有原則的學習型熵編碼器。這一結果表明，離散表示在極低比特率下具有顯著優勢，有望推動視頻壓縮技術的進一步發展，尤其適用於帶寬受限的遠程監控、移動視頻等場景。未來工作可能探索更大碼本尺寸和更復雜的先驗模型，以進一步提升壓縮性能。