跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

利用多臂老虎機進行卷積神經網路中的損失感知特徵圖剪枝

文章摘要

本文提出一種基於多臂老虎機的損失感知特徵圖剪枝框架,透過將每個特徵圖視為一個臂,臨時遮蔽並評估損失變化,從而在保持精度的前提下減少冗餘特徵圖和計算量。實驗表明,UCB1和Thompson Sampling方法在多個資料集上效能優於貪心剪枝和基於幅度的剪枝,且與未剪枝模型統計上相當。

來源arXiv AI作者: Salem Ameen, Sunil Vadera
利用多臂老虎機進行卷積神經網路中的損失感知特徵圖剪枝
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

卷積神經網路(CNN)通常包含大量冗餘特徵圖,這些冗餘特徵圖不僅增加了模型的儲存開銷,還顯著提升了推理計算成本。為了解決這一問題,本文提出了一種基於多臂老虎機(Multi-Armed Bandits)的損失感知特徵圖剪枝框架。該框架的核心思想是將每個候選特徵圖視為一個“臂”,透過動態評估移除每個特徵圖對損失函式的影響,從而做出更明智的剪枝決策。具體而言,在每個操作回合中,演算法會臨時遮蔽一個特徵圖,並在一個小批次樣本上計算損失變化。之後恢復該特徵圖,並將觀察到的損失變化轉換為一個“安全移除獎勵”。在固定的操作預算(play budget)完成後,所有候選特徵圖會根據學習到的分數進行排序,得分最高的k個特徵圖將被永久移除,同時移除對應的濾波器、偏置以及下一層的輸入通道核。這種結構化剪枝方式直接減少了卷積層的輸出通道數,從而在保持模型精度的前提下顯著降低計算量。

該研究評估了兩種經典的多臂老虎機策略:UCB1(Upper Confidence Bound)和Thompson Sampling。實驗首先在LeNet網路和MNIST資料集上進行直接/或acle式比較,隨後擴充套件到更復雜的任務和資料集,包括MNIST、CIFAR-10、CIFAR-100、SVHN、CUB-200-2011以及Oxford Flowers 102。結果表明,UCB1和Thompson Sampling在移除大量特徵圖並減少卷積計算量的同時,能夠保持與未剪枝模型非常接近的準確率。透過Friedman秩和檢驗和Nemenyi事後檢驗,研究進一步證實:UCB1在所有候選方法中取得了最高的平均秩,Thompson Sampling緊隨其後;兩者均顯著優於傳統的貪心剪枝(greedy pruning)和基於幅度的剪枝(magnitude-based pruning),同時在統計上與原始未剪枝模型的表現相當。這表明,基於多臂老虎機的剪枝方法在自動化程度和最終模型效能之間取得了良好的平衡。

該工作的創新之處在於將損失感知引入特徵圖剪枝,利用強化學習中的探索-利用權衡來指導剪枝過程,避免了傳統方法中因忽視特徵圖重要性差異而導致的精度下降。此外,該方法無需預訓練或微調階段,直接在原始模型上進行評估,大大簡化了剪枝流程。這項研究為深度學習模型的壓縮提供了新的視角。在資源受限的部署場景中,如移動裝置和嵌入式系統,卷積神經網路的高效推理至關重要。本文提出的損失感知剪枝框架不僅減少了儲存佔用和計算延遲,還為自動化模型最佳化開闢了新的路徑。未來,該方法可能被應用於更大規模的模型和更復雜的網路架構,為神經網路的壓縮與加速提供新的思路。

展開要點與分析

文章情報

投資人進階

要點

  • 提出損失感知的特徵圖剪枝框架,使用多臂老虎機演算法選擇要移除的特徵圖。
  • 每個特徵圖作為臂,透過臨時遮蔽和損失變化評估其重要性。
  • UCB1和Thompson Sampling在多個資料集上表現優異,顯著優於貪心和基於幅度的剪枝方法。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。