跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

透過學習低損失子空間進行神經網路量化

文章摘要

本文提出一種新的神經網路量化方法,透過學習量化感知的線性路徑來尋找低損失子空間的中點,從而在不使用直通估計器或顯式離散化的情況下實現與量化感知訓練相當的效能。

來源arXiv Computer Vision作者: Vladimir Protsenko, Mikhalina Kharkevich, Alexander Vashchilko, Vladimir Kryzhanovskiy
透過學習低損失子空間進行神經網路量化
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

神經網路量化旨在尋找引數的離散表示,以儘可能保持全精度模型的效能。然而,施加離散約束會使引數偏離經過良好最佳化的最小值,通常導致效能下降。最近的研究表明,低損失的全精度解並非孤立存在,而是屬於損失景觀中連通的低損失子空間,在這些子空間中,損失幾乎保持相同的最小值。從這些子空間中取樣的模型具有多樣性且保持高精度。這引出一個問題:能否構建一個量化模型,使其位於全精度模型的低損失子空間內,從而自動保持效能?

為了解決這個問題,本文作者透過學習權重空間中經過最佳化以最小化損失的量化感知線性路徑,提出了一個新方法。他們證明了所得子空間的中點天生對量化友好,對其進行直接量化可以獲得與量化感知訓練相當的效能。這一過程為權重量化提供了新的視角,與常規方法不同,它既不依賴直通估計器,也不涉及訓練中的顯式離散化。實驗結果表明,該方法在多個基準資料集上表現優異,為神經網路量化領域帶來了重要進展。

該工作由Vladimir Protsenko等人完成,論文發表於arXiv,編號2606.25087,提交日期為2026年6月23日。論文共30頁,包含7張圖,主題為計算機視覺與模式識別。該研究打破了傳統量化方法對直通估計器的依賴,為低精度推理硬體提供了新的理論支援。未來,這一方法可能顯著降低模型部署的精度損失,推動神經網路在邊緣裝置上的應用。

展開要點與分析

文章情報

工程師進階

要點

  • 量化導致效能下降是因為離散約束使引數偏離最優解
  • 低損失全精度解屬於連通的低損失子空間
  • 透過學習量化感知線性路徑,中點可直接量化並保持高效能
  • 該方法不依賴直通估計器或訓練中的顯式離散化

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。