可制御性・可観測性テストによるディープニューラルネットワークの経験的最小実現圧縮

ディープニューラルネットワーク（DNN）には多くの隠れ状態の冗長性が含まれるが、既存の圧縮手法は重みやニューロン、量子化表現に直接作用し、内部状態の動的役割を明示的に考慮していない。Anis Hamadouche氏とAmir Hussain氏による最新の研究では、制御理論の可制御性と可観測性の概念をDNN圧縮に導入し、経験的最小実現フレームワークを提案した。この手法では、訓練済みネットワークを深さ方向の非線形力学系とみなし、隠れ状態スナップショットと出力ヤコビアンからデータ駆動型の可到達性、可観測性、平衡グラミアンを構築する。得られるA/B/Cテストにより、層ごとの可到達ランク、可観測ランク、および結合可到達-可観測ランクを推定する。これらのランクは、隠れ状態の冗長性の診断指標としてだけでなく、圧縮後のネットワークの実際の層幅としても使用される。研究チームはMNISTとCIFAR-10データセットで実験を行い、投影削減、非構造化プルーニング、構造化プルーニング、低ランクSVD、動的INT8量子化などのベースラインと比較した。MNISTでは、4層SiLU活性化DNNの状態次数が1024から277に削減され、72.95%の状態圧縮と73.48%のパラメータ圧縮を達成、精度は95.45%（元モデルは96.60%）を維持した。CIFAR-10では、より大きなSiLU DNNが4608から1339に削減され、70.94%の状態圧縮と83.09%のパラメータ圧縮、精度は54.45%から54.44%とほぼ不変で、CUDA推論レイテンシは約3倍削減された。これらの結果は、バランスのとれた可到達-可観測ランクが、精度をほとんど損なわずにコンパクトなニューラルアーキテクチャを設計するための原理的な経験的最小実現基準を提供することを示している。本研究は、深層学習モデルの効率的な展開に向けた新たな理論的ツールと実践的手法を提供し、特にリソース制約のあるデバイスへの展開に重要な意味を持つ。