面向低比特整数的有符号对称量化
本文提出有符号对称量化方法，解决标准对称量化器因整数范围不平衡导致的正异常值截断问题，同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优，且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。
量化是深度学习推理加速的重要手段，尤其在大型语言模型（LLM）部署中，通过减少权重和激活值的位宽来降低内存占用和计算延迟。标准对称整数量化（如INT8）使用零点为0的缩放因子，但有符号整数比正表示多一个负值，导致默认将额外精度赋予负异常值，而正异常值可能因超出范围被截断。在4比特等低精度场景下，这种截断会显著增加量化误差，成为非平凡的错误源。非对称量化通过引入零点偏移解决了此问题，但带来了运行时开销——例如在AMD EPYC 'Turin' CPU上运行llama.cpp时，4比特对称格式比非对称节省9%内存，吞吐量高2.45倍。
本文提出的有符号对称量化方案，通过调整缩放因子的符号，将额外表示值分配给主要异常值所在尾端，既保持了对称量化的高效计算，又避免了截断误差。具体而言，作者设计了一个轻量级的符号选择规则，确定缩放因子的正负，使得额外的负表示值被用于覆盖绝对值较大的异常值尾端，而零点仍保持为0。这一方法无需额外的运行时计算，与标准对称量化具有相同的计算效率。
理论贡献方面，作者首先证明了有符号absmax网格在ℓ2量化误差下是条件最优的，即在一定条件下，该网格能够达到最低的均方误差；其次，他们揭示了一个有趣的等价关系：标准对称量化器取反缩放因子的操作，在数学上等价于在有符号整数字母表上做一个单位的零点偏移。进一步的分析表明，在低比特宽度下，预训练LLM中88-99%的权重分组满足该条件最优性条件，这意味着有符号对称量化在大多数情况下能够达到理论上的最佳误差。
实验部分基于Qwen3、Qwen3.5和Llama3系列模型，全面评估了有符号对称量化相对于标准无符号对称量化的性能。结果显示，在无任何额外推理成本的前提下，该方法在困惑度和少样本学习准确率上均取得一致改进，尤其在4比特设置下提升显著。例如，在Llama3-8B模型上，4比特有符号对称量化的困惑度比无符号版本降低了约0.3，同时少样本准确率提高了1-2个百分点。这些结果表明，有符号对称量化是一种高效且实用的低比特LLM推理方案，有望成为未来硬件和软件部署的默认选择。