古典的な統計理論では、過パラメータ化されたモデルは過学習に陥りやすく、汎化性能が低いと考えられてきた。しかし近年の研究により、モデルの複雑さが一定の閾値を超えると汎化誤差が再び減少する「二重降下」現象が発見され、新たな研究の流れが生まれた。一方、頑健統計学はデータが汚染されている状況下での統計的推定を扱う。現実のデータは理想的な分布仮定を満たさないことが多く、一部のデータ点が外れ値として現れ、古典的な推定器の性能を著しく歪める可能性がある。
Tino Wernerによる本論文は、これら二つのテーマを組み合わせ、訓練データが汚染された線形回帰の設定で二重降下現象が観察されるかどうかを検討する。特に、非常に非頑健な最小二乗補間推定器と、いくつかの頑健な代替手法の性能を比較している。最小二乗補間器は訓練データを完全に適合しようとするため、外れ値を含む汚染データに対しては古典的な観点からは非常に敏感であると予想される。
論文ではシミュレーション研究を用いて、さまざまな汚染度合いとモデル複雑度の下で各推定器の汎化誤差を体系的に評価している。その結果、モデルが十分に過パラメータ化されている場合、最小二乗補間器は確かに二重降下現象を示すことが明らかになった。さらに重要なことに、この強い過パラメータ化領域では、最小二乗補間器の汎化性能は非常に優れており、汚染に抵抗するために設計された複数の頑健推定器をも上回る。
この発見は理論的にも実用的にも重要な意味を持つ。高度に過パラメータ化されたモデルでは、古典的な頑健統計学が懸念する外れ値汚染が、従来の理論が予測するほど破壊的ではない可能性を示唆している。むしろ、過パラメータ化自体が暗黙の正則化や頑健性をもたらし、非頑健な補間手法であっても優れた汎化性能を達成できると考えられる。ただし、この結論はシミュレーション実験に基づくものであり、その適用範囲や実データでの挙動についてはさらなる研究が必要である。本論文は機械学習（cs.LG）に分類され、2026年4月15日にarXivに投稿された。