大语言模型（LLM）在推理阶段的显存占用与计算开销，使其在边缘设备和大规模部署场景中面临严峻挑战，训练后量化（Post-training Quantization, PTQ）因此成为压缩模型、加速推理的主流手段。然而，量化位宽越低，激活值中的离群点（outliers）对模型性能的破坏就越明显，这一直是低比特量化难以跨越的障碍。近日提交至 arXiv 的论文《Theory-optimal Quantization Based on Flatness》（arXiv:2605.18800v1）由 Xiusheng Huang 等七位作者完成，于 2026 年 5 月 11 日提交，共 16 页、2 幅图，归类于机器学习（cs.LG）与人工智能（cs.AI）两个学科方向，试图从理论层面重新审视离群点问题并给出更优的量化方案。
论文首先指出现有方法的局限。近年来不少工作尝试通过特征维度上的线性变换来平滑或分散离群点，例如旋转、缩放等可学习或固定的矩阵变换。但作者的分析表明，经过这类变换后的权重与激活值仍然呈现出持续存在的离群模式，其幅值分布依旧高度集中，只是被“搬移”到了别的维度，而没有被真正打散。这意味着单纯依赖经验性的变换设计，难以从根本上缓解低比特量化带来的精度损失。
针对这一现象，作者做了两方面的工作。其一是建立量化误差与离群点之间的数学关系模型，把离群点如何影响量化误差形式化地刻画出来；其二是提出一个全新的度量指标“平坦度”（Flatness），用来定量描述离群点在矩阵各维度上的分布状态——分布越集中，平坦度越低，量化越困难；分布越均匀，平坦度越高，量化误差越可控。在此基础上，论文针对平坦度推导出了理论上的最优解，为后续的变换设计提供了明确的目标函数与优化方向，而不是停留在启发式的试错层面。
依据这一理论框架，作者提出了名为双向对角量化（Bidirectional Diagonal Quantization, BDQ）的训练后量化框架。BDQ 的核心思路是通过学习到的对角操作，在矩阵的多个维度上双向地重新分配离群点的幅值，使原本集中在少数通道上的大值被策略性地分散到更多维度，从而提升整体的平坦度。由于该变换以对角形式实现，计算与存储开销相对可控，便于在实际推理流程中落地。
实验结果给出了较为有力的支撑。在 LLaMA-3-8B 模型上进行 W4A4（权重与激活均为 4 比特）量化时，BDQ 实现了不到 1% 的精度下降，作者称其树立了新的量化基准。在更具挑战性的 W2A4KV16 设定下——即权重 2 比特、激活 4 比特、KV 缓存 16 比特——BDQ 在 DeepSeek-R1-Distill-LLaMA-70B 模型上相较当前最先进方法将性能差距缩小了 39.1%。这一结果说明，从平坦度理论出发的离群点分散策略，在极端低比特场景中具有实际价值。
从整体上看，该论文的贡献在于把离群点处理从经验性变换推进到有理论依据的优化问题：先建模量化误差与离群点的关系，再以平坦度作为可优化的度量，最后推导最优解并落到 BDQ 这一具体框架上。论文同时给出了在多个模型与位宽配置下的验证，覆盖了从 8B 到 70B 规模的模型。需要注意的是，目前公开信息仅为论文摘要与元数据，代码与更多实现细节尚未在摘要中披露，实际部署中的开销与泛化能力仍有待进一步验证。