少ビット整数のための符号付き対称量子化
本論文は、標準対称量子化器のクリッピング問題を解決し、非対称量子化の実行時オーバーヘッドを回避する符号付き対称量子化を提案する。理論解析によりℓ2誤差で条件付き最適性を示し、Qwen3、Llama3シリーズのLLMでパープレキシティと精度の向上を確認した。
量子化は、深層学習推論のメモリ使用量削減と高速化に不可欠な技術です。特に大規模言語モデル（LLM）の展開では、重みと活性化値のビット幅を減らすことでメモリ消費と計算遅延を低減します。標準対称整数量子化（INT8など）はゼロ点が0のスケールを使用しますが、符号付き整数は正よりも負の表現が1つ多いため、デフォルトでは余分な精度が負の外れ値に割り当てられ、正の外れ値が範囲外でクリッピングされる問題があります。4ビットなどの低精度では、このクリッピングが量子化誤差の主要因となります。非対称量子化はゼロ点を導入することでこの問題を解決しますが、実行時オーバーヘッドが生じます。例えば、AMD EPYC 'Turin' CPU上でllama.cppを実行する場合、4ビット対称形式は非対称形式より最大9%メモリを節約し、2.45倍のスループットを実現します。
本論文で提案する符号付き対称量子化は、スケールの符号を調整することで余分な表現値を主要な外れ値テールに配置し、対称量子化の効率的な計算を維持しつつクリッピング誤差を回避します。具体的には、軽量な符号選択ルールによりスケールの正負を決定し、追加の負の表現値を絶対値の大きな外れ値テールのカバーに使用します。ゼロ点は0のままであるため、標準対称量子化と同じ計算効率を維持します。
理論的な貢献は2つあります。第一に、符号付きabsmaxグリッドがℓ2量子化誤差において条件付き最適であることを証明しました。これは、特定の条件下でこのグリッドが最小の二乗誤差を達成できることを意味します。第二に、標準対称量子化器のスケール符号反転が、符号付き整数アルファベット上での単位ゼロ点シフトと解析的に等価であることを示しました。さらに、低ビット幅では、事前学習済みLLMの重みグループの88-99%がこの条件付き最適性を満たすことを明らかにしました。
実験では、Qwen3、Qwen3.5、Llama3シリーズのモデルを使用し、標準の符号なし対称量子化と比較しました。結果は、追加の推論コストなしで、パープレキシティと数ショット精度の一貫した改善を示しました。例えば、Llama3-8Bモデルでは、4ビット符号付き対称量子化のパープレキシティが符号なし版より約0.3低下し、数ショット精度が1-2%向上しました。これらの結果は、符号付き対称量子化が低ビットLLM推論のための効率的かつ実用的な方式であり、将来のハードウェアおよびソフトウェア展開のデフォルト選択肢となる可能性を示しています。