通过学习低损失子空间进行神经网络量化
本文提出一种新的神经网络量化方法，通过学习量化感知的线性路径来寻找低损失子空间的中点，从而在不使用直通估计器或显式离散化的情况下实现与量化感知训练相当的性能。
来源arXiv Computer Vision作者: Vladimir Protsenko, Mikhalina Kharkevich, Alexander Vashchilko, Vladimir Kryzhanovskiy
神经网络量化旨在寻找参数的离散表示，以尽可能保持全精度模型的性能。然而，施加离散约束会使参数偏离经过良好优化的最小值，通常导致性能下降。最近的研究表明，低损失的全精度解并非孤立存在，而是属于损失景观中连通的低损失子空间，在这些子空间中，损失几乎保持相同的最小值。从这些子空间中采样的模型具有多样性且保持高精度。这引出一个问题：能否构建一个量化模型，使其位于全精度模型的低损失子空间内，从而自动保持性能？
为了解决这个问题，本文作者通过学习权重空间中经过优化以最小化损失的量化感知线性路径，提出了一个新方法。他们证明了所得子空间的中点天生对量化友好，对其进行直接量化可以获得与量化感知训练相当的性能。这一过程为权重量化提供了新的视角，与常规方法不同，它既不依赖直通估计器，也不涉及训练中的显式离散化。实验结果表明，该方法在多个基准数据集上表现优异，为神经网络量化领域带来了重要进展。
该工作由Vladimir Protsenko等人完成，论文发表于arXiv，编号2606.25087，提交日期为2026年6月23日。论文共30页，包含7张图，主题为计算机视觉与模式识别。该研究打破了传统量化方法对直通估计器的依赖，为低精度推理硬件提供了新的理论支持。未来，这一方法可能显著降低模型部署的精度损失，推动神经网络在边缘设备上的应用。