神经网络损失景观的谱渐近性：曲率指数的精确分解
该论文提出了谱对齐分解，解释了神经网络损失景观中曲率指数α为何在不同层类型间变化（卷积层约2，Transformer注意力层约1，MLP上投影层小于1）。该分解将α的变化归因于Kronecker因子特征基与梯度奇异方向之间的对齐程度。此外，论文推导出一个谱传递恒等式s=αγ，通过独立拟合α和γ可高精度预测Hessian衰减指数s。基于此，研究者提出架构自适应预条件子T(σ;α)，并展示Spectral Newton优化器在视觉基准上超越AdamW。
近期一篇论文《Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent》于2026年5月22日提交至arXiv，深入研究了神经网络损失景观的曲率特性，特别是Hessian矩阵特征值与梯度奇异值之间的标度关系。该关系由曲率指数α描述，满足h_k ∝ σ_k^α。令人惊讶的是，α在不同层类型间呈现系统性变化：卷积层约为2，Transformer注意力层约为1，而MLP上投影层则小于1。
为了解释这一现象，作者提出了谱对齐分解（Spectral Alignment Decomposition）。该分解将α表达为α = 2 + d log Φ_k / d log σ_k，其中Φ_k度量了Kronecker因子特征基与梯度奇异方向之间的对齐程度。这一框架将“α为何变化”的问题转化为一个几何问题，并针对LayerNorm、残差连接和softmax头等常见组件给出了具体答案。例如，在卷积层中，特征基与梯度方向高度对齐，导致α接近2；而在注意力层中，对齐程度较低，α接近1。
进一步，论文推导出一个重要的谱传递恒等式：s = αγ，其中s是Hessian衰减指数，γ是有效梯度秩衰减指数。在93个层、5种架构和3个数据集上，通过独立拟合α和γ（分别使用HVP和SVD方法），该恒等式能够以约2%的中位误差预测s，且无需任何自由参数。此外，一个基于zeta函数的参与比界限表明，每层的曲率实际上集中在一个有效方向上，这进一步简化了分析。
作为概念验证，作者设计了架构自适应预条件子T(σ;α)，并将其集成到Spectral Newton优化器中。该预条件子在梯度奇异基中实现，在视觉基准任务上（α≈2）表现优于AdamW，展示了理论指导优化算法设计的潜力。这项工作不仅深化了对神经网络优化景观的理解，还为开发更高效的训练方法提供了坚实的理论基础。