面向低位元整數的有符號對稱量化
本文提出有符號對稱量化方法，解決標準對稱量化器因整數範圍不平衡導致的正異常值截斷問題，同時避免非對稱量化的執行時開銷。理論分析表明該方法在ℓ2誤差上條件最優，且88-99%的LLM權重組滿足條件。實驗在Qwen3、Llama3等模型上驗證了困惑度和少樣本準確率的提升。
量化是深度學習推理加速的重要手段，尤其在大型語言模型（LLM）部署中，透過減少權重和啟用值的位寬來降低記憶體佔用和計算延遲。標準對稱整數量化（如INT8）使用零點為0的縮放因子，但有符號整數比正表示多一個負值，導致預設將額外精度賦予負異常值，而正異常值可能因超出範圍被截斷。在4位元等低精度場景下，這種截斷會顯著增加量化誤差，成為非平凡的錯誤源。非對稱量化透過引入零點偏移解決了此問題，但帶來了執行時開銷——例如在AMD EPYC 'Turin' CPU上執行llama.cpp時，4位元對稱格式比非對稱節省9%記憶體，吞吐量高2.45倍。
本文提出的有符號對稱量化方案，透過調整縮放因子的符號，將額外表示值分配給主要異常值所在尾端，既保持了對稱量化的高效計算，又避免了截斷誤差。具體而言，作者設計了一個輕量級的符號選擇規則，確定縮放因子的正負，使得額外的負表示值被用於覆蓋絕對值較大的異常值尾端，而零點仍保持為0。這一方法無需額外的執行時計算，與標準對稱量化具有相同的計算效率。
理論貢獻方面，作者首先證明了有符號absmax網格在ℓ2量化誤差下是條件最優的，即在一定條件下，該網格能夠達到最低的均方誤差；其次，他們揭示了一個有趣的等價關係：標準對稱量化器取反縮放因子的操作，在數學上等價於在有符號整數字母表上做一個單位的零點偏移。進一步的分析表明，在低位元寬度下，預訓練LLM中88-99%的權重分組滿足該條件最優性條件，這意味著有符號對稱量化在大多數情況下能夠達到理論上的最佳誤差。
實驗部分基於Qwen3、Qwen3.5和Llama3系列模型，全面評估了有符號對稱量化相對於標準無符號對稱量化的效能。結果顯示，在無任何額外推理成本的前提下，該方法在困惑度和少樣本學習準確率上均取得一致改進，尤其在4位元設定下提升顯著。例如，在Llama3-8B模型上，4位元有符號對稱量化的困惑度比無符號版本降低了約0.3，同時少樣本準確率提高了1-2個百分點。這些結果表明，有符號對稱量化是一種高效且實用的低位元LLM推理方案，有望成為未來硬體和軟體部署的預設選擇。