基于熵编码的MS-VQ-VAE与学习先验的超低比特率视频压缩
该研究提出一种基于离散潜在表示的熵编码MS-VQ-VAE框架，在超低比特率（低于0.1 bpp）下显著优于H.265。通过矢量量化（VQ）码本大小K的硬信息上限和学习自回归先验，利用码本使用的幂律分布，无需率惩罚调优即可实现极低码率。在UCF101数据集上，模型以0.043-0.064 bpp运行，比特率仅为H.264和H.265的几分之一，同时感知质量（LPIPS）更高。
近年来，学习型视频编码器在连续潜在表示方面取得了显著进展，但在极低比特率（低于0.1比特每像素，bpp）下，由于缺乏可微分的率信号，拉格朗日优化难以有效权衡重建质量与比特率。这一瓶颈限制了学习型编解码器在极端压缩场景下的应用。来自arXiv的一篇新论文（arXiv:2607.02562）提出了一种基于离散潜在表示的熵编码MS-VQ-VAE框架，彻底规避了这一限制。该框架利用矢量量化（VQ）码本的硬信息上限，并通过学习自回归先验来利用码本使用的非均匀分布——他们发现码本使用遵循幂律分布——从而在不进行率惩罚调优的情况下将实际比特率推至远低于该上限。
该研究建立在MS-VQ-VAE架构之上，通过系统评估码本大小K（128、256、512、1024），在统一训练协议下追踪率失真曲线上的四个操作点。研究过程中，他们发现并解决了一个关键的训练不稳定性：基于梯度的VQ在K≤512时会灾难性崩溃，而采用指数移动平均（EMA）稳定化的码本更新与死码重启技术可在所有配置下保持全码本利用。这一发现对于大规模VQ模型的稳定训练具有重要指导意义。
实验使用500个UCF101测试片段（64×64像素，32帧），模型在0.043-0.064 bpp下运行，比H.264的实际下限低3.3至5倍，比H.265的下限低5至7.6倍。所有MS-VQ-VAE配置在使用5至7.6倍更少比特的情况下，在感知质量（LPIPS）上均优于H.265 CRF 36。当K=1024时，模型在LPIPS上以0.072的绝对优势超越H.265 CRF 36，同时使用5.1倍更少的比特。码本分析证实了幂律索引分布和70-85%的熵效率，将该管道确立为一种有原则的学习型熵编码器。这一结果表明，离散表示在极低比特率下具有显著优势，有望推动视频压缩技术的进一步发展，尤其适用于带宽受限的远程监控、移动视频等场景。未来工作可能探索更大码本尺寸和更复杂的先验模型，以进一步提升压缩性能。