污染數據上最小二乘插值的雙重下降：一項模擬研究

在機器學習研究中，一個令人困惑的現象是，高度過度參數化的模型——即參數數量遠超訓練樣本數量的模型——儘管傳統統計學理論預測它們極易過擬合，卻往往表現出優異的泛化性能。這一悖論催生了“雙重下降”（double descent）現象的發現：隨着模型複雜度的增加，泛化誤差先上升至一個峯值，隨後在模型複雜度超過某個閾值後反而下降，甚至達到比簡單模型更低的水平。

最近，一項發表於arXiv的新研究（arXiv:2605.21494）將雙重下降現象擴展到了污染數據場景。污染數據是指由於實際數據分佈與假設的理想分佈不一致而出現的異常值，這些異常值可能嚴重扭曲經典估計結果。傳統的穩健統計學專門設計來應對這類問題，通常使用如M估計、 LMS等替代方法。然而，該研究的作者Tino Werner通過模擬實驗發現，在污染數據下，高度非穩健的最小二乘插值估計器竟然表現出雙重下降行為，並且在模型高度過度參數化時，其泛化性能超過了專門設計的穩健替代方法。

研究採用線性迴歸設置，人為向訓練數據中添加異常值以模擬污染。實驗系統地比較了最小二乘插值器與多種穩健估計器（如Huber估計、LTS等）在不同污染程度下的表現。結果表明，當模型參數數量遠大於樣本數量時，最小二乘插值器的測試誤差先隨過參數化程度增加而上升，但隨後在高度過參數化時急劇下降，最終顯著優於穩健方法。這一發現挑戰了傳統觀念，即在高維或污染數據中簡單插值必然導致糟糕的泛化，反而表明適度的過度參數化可以帶來魯棒性。

該研究的意義在於，它提示我們在實踐應用中，面對髒數據時，使用高度參數化的最小二乘模型可能比設計專門的穩健方法更為簡單有效。這為深層神經網絡在噪聲數據上表現良好提供了一種可能的理論解釋。未來工作可進一步探索非線性模型及其他類型的污染對雙重下降現象的影響。