大規模言語モデル（LLM）の推論を圧縮・高速化する技術として、訓練後量子化（Post-training Quantization）が広く採用されている。しかし、活性化における外れ値（outliers）が量子化の主な課題であり、特に低ビット精度でモデル性能を著しく劣化させる。近年の手法は特徴次元間の線形変換によって外れ値を緩和しようと試みているが、本研究の分析によれば、変換後の重みと活性化には依然として集中した大きさ分布を持つ外れ値パターンが持続している。
本論文ではまず、量子化誤差と外れ値の間の数学的関係をモデル化し、次に外れ値の分布を定量化する新しい指標「平坦度（Flatness）」を導入する。これに基づき、平坦度に関する理論最適解を導出する。この理論的洞察は、より効果的な量子化手法の設計に指針を与える。
その上で著者らは、双方向対角量子化（Bidirectional Diagonal Quantization, BDQ）を提案する。これは、最適化された行列変換を通じて外れ値パターンを効果的に分散させる新しい訓練後量子化フレームワークである。BDQは学習された対角操作により、外れ値の大きさを戦略的に行列の次元全体に分散させ、量子化誤差を低減する。
広範な実験により、BDQが新たな量子化ベンチマークを確立することが示された。LLaMA-3-8Bモデルでは、W4A4量子化において1%未満の精度低下を達成した。より困難なW2A4KV16実験では、最先端手法と比較して、DeepSeek-R1-Distill-LLaMA-70Bモデルで性能ギャップを39.1%削減した。これらの結果は、低ビット量子化シナリオにおけるBDQの有効性と可能性を強調している。
本論文は2026年5月11日に投稿され、16ページ、図2点からなり、機械学習（cs.LG）および人工知能（cs.AI）分野に属する。著者はXiusheng Huangら7名である。