基于扁平度的理论最优量化
本文提出一种新的量化指标“扁平度”来衡量异常值分布，并据此推导出理论最优解。作者进一步提出双向对角量化（BDQ）框架，通过学习到的对角操作将异常值分散到矩阵维度中，显著提升了大语言模型低位宽量化的性能。实验表明，BDQ在LLaMA-3-8B上W4A4量化精度下降不足1%，在DeepSeek-R1-Distill-LLaMA-70B的W2A4KV16任务中性能差距缩小39.1%。
文章情报
要点
- 提出Flatness指标量化异常值分布，并推导理论最优解
- BDQ框架通过双向对角变换分散异常值
- W4A4量化LLaMA-3-8B精度下降<1%
- W2A4KV16量化性能差距缩小39.1%
为什么重要
这条新闻值得关注，因为提出Flatness指标量化异常值分布，并推导理论最优解。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
后训练量化已成为压缩和加速大语言模型推理的主流技术。然而，激活值中的异常值严重损害模型性能，尤其是在低位宽下。现有方法尝试通过线性变换减轻异常值，但本文作者发现变换后的权重和激活仍存在集中的异常值模式。
针对这一问题，来自多家机构的研究人员首先建模了量化误差与异常值之间的数学关系，并引入新指标“扁平度”来定量描述异常值分布。在此基础上，他们推导出针对扁平度的理论最优解。这一理论贡献为理解量化误差的本质提供了新的视角。
基于这些洞见，团队提出了双向对角量化（BDQ）框架。BDQ通过学习的对角操作，将异常值幅度策略性地分散到矩阵维度中，从而有效打破异常值的集中模式。该方法不仅具有理论依据，而且在实际部署中易于实现。
大量实验表明，BDQ建立了新的量化基准。在LLaMA-3-8B模型上，W4A4量化精度损失小于1%。在更具挑战性的W2A4KV16实验中，与现有最优方法相比，BDQ在DeepSeek-R1-Distill-LLaMA-70B模型上将性能差距缩小了39.1%。这表明BDQ在极端低位宽场景下具有显著优势。
该研究不仅提供了理论上的最优解，还通过实践验证了其有效性，为低位宽大模型部署提供了重要解决方案。论文包含16页正文和2幅图表，由Xiusheng Huang等7位作者共同完成，于2026年5月11日提交至arXiv预印本平台。该工作有望推动大语言模型在资源受限设备上的广泛应用。