隨著大型語言模型（LLM）引數規模的急劇增長，模型壓縮技術已成為降低計算和記憶體開銷的關鍵手段。目前，低秩分解和量化是兩種主流的方法，它們各自在保持模型精度的同時，能顯著壓縮模型體積。然而，當需要更高壓縮比時，單獨使用任何一種方法都會遭遇效能急劇下降的瓶頸。直覺上，將這兩種方法結合似乎能突破這一瓶頸，但實踐中的效果如何呢？
近日，一篇題為《突破壓縮瓶頸：從理論到實踐》的論文（arXiv:2607.20434）給出了令人驚訝的答案。該論文由Xiusheng Huang等四位作者撰寫，於2026年5月11日提交，首次從數學上嚴格證明了低秩分解與量化並非正交的——也就是說，兩者的組合並非線性疊加，而是會引入額外的誤差，導致效能顯著下降。這一發現挑戰了許多開發者長期以來的假設，即兩種方法獨立工作，組合後不會產生額外的負面影響。
為了驗證理論結果，研究團隊在多種大規模語言模型上進行了實驗。實驗一致表明，簡單地將低秩分解與量化結合，模型效能出現了大幅退化，遠遠超出各自獨立誤差之和。這一現象揭示了現有壓縮技術中的深層次問題。
針對這一困境，論文提出了一種創新方法——對角粘附方法（DAM）。DAM能夠有效融合低秩分解與量化，同時顯著減輕效能損失。實驗顯示，DAM在保持高壓縮比的同時，效能損失遠低於簡單組合，甚至在某些情況下接近單一方法的最佳表現。
該研究不僅提供了理論上的深刻洞見，還透過詳盡的實驗為未來的模型壓縮研究奠定了堅實基礎。對於AI從業者而言，這項成果意味著在選擇壓縮策略時需要更加謹慎，同時也為開發更高效的組合壓縮方案指明瞭新方向。論文共18頁，包含3張圖，相關程式碼和資料已公開，供社群進一步探索。