大語言模型（LLM）憑藉其數十億引數在自然語言處理等眾多領域取得了突破性進展。然而，巨大的引數量帶來了高昂的記憶體消耗，嚴重限制了其在邊緣裝置、移動終端等資源受限環境中的部署和應用。為了解決這一關鍵挑戰，模型壓縮技術應運而生，其中奇異值分解（SVD）作為一種經典的矩陣分解方法，被廣泛應用於神經網路權重的低秩近似壓縮。
在早期的研究中，學者們主要從兩個不同的視角探索低秩近似：一是基於引數重要性的方法，即保留對模型效能貢獻最大的引數，捨棄相對不重要的部分；二是基於逐層功能等價性的方法，即確保壓縮後的每一層在功能上儘可能接近原始層。儘管這兩種方法各有優勢，但此前的工作通常將它們視為獨立的研究方向，未能有效融合。
本文提出了一種創新的壓縮框架，將神經元重要性度量與資料感知的低秩近似有機結合起來，在一個統一的目標函式中同時考慮引數重要性和逐層功能等價性。透過這種方式，模型能夠在壓縮過程中更精準地保留關鍵資訊，從而最小化壓縮誤差並最大化下游任務的效能。此外，壓縮率的分配是影響壓縮質量的關鍵因素。以往的方法多采用均勻分配或依賴計算成本高昂的啟發式搜尋來確定每一層的壓縮率。本文則提出了一種增強的計算高效動態壓縮率分配演算法，該演算法能夠根據每一層的重要性自適應地調整壓縮比率，在保證效能的同時大幅降低了計算開銷。
在廣泛的實驗評估中，作者在多個標準資料集和模型架構上驗證了所提方法的有效性。實驗結果表明，與現有的最先進壓縮技術相比，本文方法在多種壓縮率下均能達到相當或更好的效能，尤其是在高壓縮率（如壓縮至原始大小的10%以下）的情況下，效能提升尤為顯著。這一成果為LLM的實際部署提供了更加高效可行的壓縮方案，有望推動大型模型在更多實際場景中的應用。