通過可控可觀性測試實現深度神經網絡的實證最小實現壓縮

深度神經網絡（DNN）通常包含大量的隱藏狀態冗餘，但現有的壓縮方法大多直接對權重、神經元或量化表示進行操作，而沒有明確描述內部狀態的動態作用。近日，由Anis Hamadouche和Amir Hussain提出的新研究，將控制理論中的可控性和可觀性概念引入DNN壓縮，提出了一種實證最小實現框架。該方法將訓練好的網絡視為一個深度索引的非線性動力系統，通過隱藏狀態快照和輸出雅可比矩陣構建數據驅動的可達性、可觀性和平衡Gramian矩陣。由此得到的A/B/C測試能夠估計每層的可達秩、可觀秩以及聯合可達-可觀秩。這些秩不僅作為隱藏狀態冗餘的診斷指標，還直接用作壓縮後網絡的實際層寬。研究團隊在MNIST和CIFAR-10數據集上進行了實驗，並與投影約減、非結構化剪枝、結構化剪枝、低秩SVD、動態INT8量化等多種基線方法進行了比較。在MNIST上，一個四層SiLU激活的DNN的狀態階數從1024降至277，實現了72.95%的狀態壓縮和73.48%的參數壓縮，同時保持95.45%的準確率（原始模型為96.60%，下降僅1.15個百分點）。在CIFAR-10上，一個更大的SiLU DNN從4608降至1339，獲得了70.94%的狀態壓縮和83.09%的參數壓縮，準確率從54.45%降至54.44%，幾乎未變，而CUDA推理延遲降低了約3倍。這些結果表明，平衡的可達-可觀秩為設計緊湊的神經架構提供了一種原則性的實證最小實現準則，能夠在幾乎不損失準確率的情況下大幅壓縮網絡規模。該研究為深度學習模型的高效部署提供了新的理論工具和實踐方法，特別是在資源受限的設備上部署模型具有重要價值。