通过可控可观性测试实现深度神经网络的实证最小实现压缩

深度神经网络（DNN）通常包含大量的隐藏状态冗余，但现有的压缩方法大多直接对权重、神经元或量化表示进行操作，而没有明确描述内部状态的动态作用。近日，由Anis Hamadouche和Amir Hussain提出的新研究，将控制理论中的可控性和可观性概念引入DNN压缩，提出了一种实证最小实现框架。该方法将训练好的网络视为一个深度索引的非线性动力系统，通过隐藏状态快照和输出雅可比矩阵构建数据驱动的可达性、可观性和平衡Gramian矩阵。由此得到的A/B/C测试能够估计每层的可达秩、可观秩以及联合可达-可观秩。这些秩不仅作为隐藏状态冗余的诊断指标，还直接用作压缩后网络的实际层宽。研究团队在MNIST和CIFAR-10数据集上进行了实验，并与投影约减、非结构化剪枝、结构化剪枝、低秩SVD、动态INT8量化等多种基线方法进行了比较。在MNIST上，一个四层SiLU激活的DNN的状态阶数从1024降至277，实现了72.95%的状态压缩和73.48%的参数压缩，同时保持95.45%的准确率（原始模型为96.60%，下降仅1.15个百分点）。在CIFAR-10上，一个更大的SiLU DNN从4608降至1339，获得了70.94%的状态压缩和83.09%的参数压缩，准确率从54.45%降至54.44%，几乎未变，而CUDA推理延迟降低了约3倍。这些结果表明，平衡的可达-可观秩为设计紧凑的神经架构提供了一种原则性的实证最小实现准则，能够在几乎不损失准确率的情况下大幅压缩网络规模。该研究为深度学习模型的高效部署提供了新的理论工具和实践方法，特别是在资源受限的设备上部署模型具有重要价值。