GRAPE：面向紧凑型对抗鲁棒性的引导式参数空间演化
本文提出GRAPE框架，通过渐进式参数空间暴露和基于对抗频谱利用率的引导机制，在固定计算预算下提升紧凑型神经网络的对抗鲁棒性，在CIFAR-10上实现PGD-20鲁棒准确率从51.70%提升至56.94%，参数减少21.4%。
近日，研究人员提出了一种名为GRAPE（引导式参数空间演化）的新型训练框架，旨在提升紧凑型神经网络的对抗鲁棒性。传统的对抗训练方法通常从一开始就训练固定的参数空间，而GRAPE则探索参数可优化顺序对最终鲁棒解的影响。该方法结合了参数空间稳定与渐进式隐藏扩张，在当前暴露空间中稳定鲁棒优化，逐步释放新的可优化维度，并利用对抗频谱利用率分数引导新增容量流向高压力模块。与固定结构的对抗训练不同，GRAPE将鲁棒模型学习视为一个渐进式参数空间暴露和演化的过程，从而在相同的计算预算下获得更优的鲁棒性。
在CIFAR-10数据集上采用标准ℓ∞威胁模型进行实验，以固定结构ResNet-18对抗训练为对照，GRAPE在计算预算几乎匹配（FLOPs比1.009倍）的情况下，将PGD-20鲁棒准确率从51.70%提升至56.94%，同时参数量减少约21.4%。此外，采用相同最终ResNet-18架构的顺序增长变体达到了56.52%的PGD-20鲁棒准确率，表明收益不仅来自最终架构差异，还来自参数空间暴露路径。这些结果表明，引导式参数空间演化可以在匹配计算预算的条件下生成紧凑且鲁棒的参数配置，为开发更高效的对抗防御方法提供了新思路。
该研究由Zhiyuan Ye等人完成，论文已提交至arXiv（编号2606.14865）。这项工作的意义在于，它揭示了在固定计算预算下，参数空间的暴露顺序对鲁棒性的重要影响，为未来设计更高效的对抗训练算法开辟了新的方向。此外，GRAPE框架的提出也表明，通过精心设计的参数空间演化策略，可以在不增加计算成本的前提下显著提升模型的对抗鲁棒性，这对于资源受限的实际应用场景尤为重要。