神经网络量化旨在用离散的参数表示来尽可能忠实地保持全精度模型的性能。然而，强制施加离散约束会使参数偏离已优化好的极小值点，通常导致性能下降。近期研究表明，低损失的全精度解并非孤立存在，而是属于损失景观中连通的低损失子空间，在这些子空间内损失值几乎保持相同的最小值。从这些子空间中采样得到的模型具有多样性，并且能保持较高的准确率。这引发了一个问题：能否构造一个量化模型，使其位于全精度模型的低损失子空间内，从而自动保持性能？
来自 Vladimir Protsenko 等四位作者的研究论文《Neural Network Quantization by Learning Low-Loss Subspaces》针对这一问题提出了解决方案。他们通过在权重空间中学习量化感知的线性路径，并优化这些路径以最小化损失，来构建低损失子空间。研究表明，所得子空间的中点在设计上就是量化友好的——直接对该中点进行量化，其性能可与量化感知训练相媲美。
该方法与传统的量化方法有显著不同。它既不依赖直通估计器（straight-through estimator），也不需要在训练过程中进行显式的离散化操作。这为权重量化提供了一个全新的视角，避免了传统量化中因强制离散化而导致的参数扰动问题。
该论文于2026年6月23日提交至 arXiv，属于计算机视觉与模式识别（cs.CV）领域，共30页、7张图。论文的摘要指出，低损失子空间中的模型样本具有多样性且保持高准确率，而该方法通过设计使量化模型自然落入这样的子空间，从而在保持性能的同时实现量化。
总的来说，这项工作提出了一种基于低损失子空间学习的量化新范式，有望为神经网络压缩与加速领域带来新的思路。其核心贡献在于将量化问题转化为在权重空间中寻找量化友好的低损失子空间，并通过直接量化子空间中点来获得高性能的量化模型，而无需复杂的训练技巧如直通估计器或显式离散化。