畳み込みニューラルネットワーク（CNN）は、しばしば多くの冗長な特徴マップを含んでおり、これらはストレージ容量の増大や推論コストの上昇を引き起こす。本論文では、この問題に対処するため、マルチアームドバンディット（Multi-Armed Bandits）を利用した損失考慮型の特徴マッププルーニングフレームワークを提案する。このフレームワークの核となるアイデアは、各特徴マップを「アーム」と見なし、各特徴マップを除去した際の損失変化を動的に評価することで、より賢明なプルーニング判断を下すことである。具体的には、各プレイタイムにおいて、一時的に一つの特徴マップをマスキングし、サンプリングされたミニバッチ上で損失変化を計算する。その後マップを復元し、観測された損失変化を「安全除去報酬」に変換する。一定のプレイ予算が経過した後、学習されたスコアに基づいて候補マップをランク付けし、上位k個のマップを、それに対応するフィルター、バイアス、および次層の入力チャネルカーネルとともに永久的に除去する。この構造化プルーニングは畳み込み層の出力チャネル数を直接削減するため、モデルの精度を保ちながら計算量を大幅に削減できる。
本研究では、UCB1（Upper Confidence Bound）とThompson Samplingの二つの古典的なバンディット戦略を評価した。実験はまずLeNetネットワークとMNISTデータセットを用いた直接/オラクル比較から始め、その後MNIST、CIFAR-10、CIFAR-100、SVHN、CUB-200-2011、Oxford Flowers 102などのより複雑なタスクとデータセットに拡張された。結果は、UCB1とThompson Samplingが多数の特徴マップを除去し畳み込み計算を削減しながらも、未プルーニングモデルに非常に近い精度を維持できることを示している。Friedman検定とNemenyi検定による統計解析により、UCB1が全候補手法の中で最も高い平均順位を獲得し、Thompson Samplingがそれに続くことが確認された。両手法は従来の欲張り法（greedy pruning）やマグニチュードベースのプルーニング（magnitude-based pruning）を有意に上回り、かつ元の未プルーニングモデルと統計的に同等の性能を示した。これは、マルチアームドバンディットに基づくプルーニング手法が、自動化の程度と最終的なモデル性能の間で優れたバランスを達成していることを示している。
この研究の革新性は、損失考慮を特徴マッププルーニングに導入し、強化学習における探索と活用のトレードオフを活用してプルーニングプロセスを導いた点にある。これにより、従来手法のように特徴マップの重要度の違いを無視することによる精度低下を回避できる。さらに、本手法は事前学習やファインチューニングを必要とせず、元のモデル上で直接評価を行うため、プルーニングの手順が大幅に簡略化される。今後、この手法はより大規模なモデルや複雑なネットワークアーキテクチャに応用され、ニューラルネットワークの圧縮と高速化に新たな道を開くことが期待される。