一项新研究对深度学习中的一个常见假设——平坦极小值有助于神经网络泛化——提出了挑战。来自澳大利亚国立大学的Michael Timothy Bennett在预印本论文《Are Flat Minima an Illusion?》中论证，平坦性并非泛化的真正驱动因素，而是一种称为“弱度”（weakness）的度量才是关键。
平坦极小值通常被认为与更好的泛化相关，Sharpness-Aware Minimization（SAM）等方法正是利用这一点来提升性能。然而，Bennett指出，函数保持的重新参数化可以在不改变任何预测的情况下将Hessian矩阵放大两个数量级。这意味着权重空间的几何形状可以被任意制造，因此不能作为因果解释。
相反，作者提出了“弱度”这一概念，它衡量的是在学习者的具身语言中与所学函数兼容的完成体积。弱度具有重新参数化不变性，因为它基于网络的行为而非参数化方式定义。理论分析表明，弱度在可交换需求下是极小极大最优的，并且PAC-Bayes界限的有效性源于其与弱度的相关性。
实验部分提供了有力证据。在MNIST数据集上，大批量训练的泛化优势随着训练样本量增加而消失：当n=2,000时优势为+1.6%，而当n=60,000时降至+0.02%。这表明平坦性只是一个混杂因素，其预测能力依赖于数据量。在100个相同架构和训练条件的网络的头对头比较中，弱度显著预测泛化（MNIST：ρ=+0.374，p=0.00012；Fashion-MNIST：ρ=+0.384，p=8.15×10⁻⁵），而平坦性呈负相关，简单性（simplicity）仅在Fashion-MNIST上略有预测力。作者总结道，简单性是数据集依赖的，而弱度是不变的。
这项研究提示，过分关注损失景观的几何特性可能会误导研究方向。弱度作为一个更本质的度量，有望为理解神经网络泛化提供新的视角。