ニューラルネットワークの汎化性能において、損失関数の平坦な極小値が重要であるという従来の見解に、新たな研究が挑戦を投げかけている。オーストラリア国立大学のMichael Timothy Bennett氏によるプレプリント「Are Flat Minima an Illusion?」では、平坦性ではなく「弱さ」（weakness）と呼ばれる尺度こそが汎化の真の要因であると主張する。
平坦な極小値は、Sharpness-Aware Minimization（SAM）などの手法で利用され、汎化改善に役立つとされてきた。しかし、Bennett氏は、関数を保存する再パラメータ化によってヘッセ行列を2桁も拡大できることを指摘。重み空間の幾何学的形状は人為的に作り出せるため、因果関係の説明にはならないという。
代わりに提案される「弱さ」は、学習者の具体化された言語において学習された関数と互換性のある完成体の体積として定義される。これはネットワークの振る舞いに基づくため、再パラメータ化に対して不変である。理論的には、交換可能な需要の下でミニマックス最適であり、PAC-Bayes限界の有効性も弱さとの相関に起因すると証明される。
実験では、MNISTデータセットにおいて大バッチ学習の汎化優位性が訓練データ量の増加とともに消失する現象を示す（n=2,000で+1.6%、n=60,000で+0.02%）。これは平坦性が交絡因子であることを示唆する。同一アーキテクチャで訓練された100のネットワークの比較では、弱さが汎化を有意に予測し（MNIST: ρ=+0.374, p=0.00012; Fashion-MNIST: ρ=+0.384, p=8.15×10⁻⁵）、平坦性は負の相関、単純性はFashion-MNISTでのみ若干の予測力を示した。
著者は、単純性はデータセットに依存するのに対し、弱さは不変であると結論づけている。この研究は、損失景観の幾何学的特性に過度に注目することの危険性を警告し、汎化理解の新しい方向性を示唆する。