神經網絡損失景觀的譜漸近性：曲率指數的精確分解
該論文提出了譜對齊分解，解釋了神經網絡損失景觀中曲率指數α為何在不同層類型間變化（卷積層約2，Transformer注意力層約1，MLP上投影層小於1）。該分解將α的變化歸因於Kronecker因子特徵基與梯度奇異方向之間的對齊程度。此外，論文推導出一個譜傳遞恆等式s=αγ，通過獨立擬合α和γ可高精度預測Hessian衰減指數s。基於此，研究者提出架構自適應預條件子T(σ;α)，並展示Spectral Newton優化器在視覺基準上超越AdamW。
近期一篇論文《Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent》於2026年5月22日提交至arXiv，深入研究了神經網絡損失景觀的曲率特性，特別是Hessian矩陣特徵值與梯度奇異值之間的標度關係。該關係由曲率指數α描述，滿足h_k ∝ σ_k^α。令人驚訝的是，α在不同層類型間呈現系統性變化：卷積層約為2，Transformer注意力層約為1，而MLP上投影層則小於1。
為了解釋這一現象，作者提出了譜對齊分解（Spectral Alignment Decomposition）。該分解將α表達為α = 2 + d log Φ_k / d log σ_k，其中Φ_k度量了Kronecker因子特徵基與梯度奇異方向之間的對齊程度。這一框架將“α為何變化”的問題轉化為一個幾何問題，並針對LayerNorm、殘差連接和softmax頭等常見組件給出了具體答案。例如，在卷積層中，特徵基與梯度方向高度對齊，導致α接近2；而在注意力層中，對齊程度較低，α接近1。
進一步，論文推導出一個重要的譜傳遞恆等式：s = αγ，其中s是Hessian衰減指數，γ是有效梯度秩衰減指數。在93個層、5種架構和3個數據集上，通過獨立擬合α和γ（分別使用HVP和SVD方法），該恆等式能夠以約2%的中位誤差預測s，且無需任何自由參數。此外，一個基於zeta函數的參與比界限表明，每層的曲率實際上集中在一個有效方向上，這進一步簡化了分析。
作為概念驗證，作者設計了架構自適應預條件子T(σ;α)，並將其集成到Spectral Newton優化器中。該預條件子在梯度奇異基中實現，在視覺基準任務上（α≈2）表現優於AdamW，展示了理論指導優化算法設計的潛力。這項工作不僅深化了對神經網絡優化景觀的理解，還為開發更高效的訓練方法提供了堅實的理論基礎。