正交梯度约束塑造噪声标签记忆动态

来自2026年ICML HiLD研讨会的研究人员Richard Mai等人提出了一种名为OrthoGrad的新方法，用于研究神经网络在噪声标签下的记忆动态。现代神经网络能够拟合被污染的标签，这使得噪声标签学习成为研究记忆驱动过拟合的理想场景。大多数现有正则化方法通过修改目标函数、网络架构或数据分布来缓解过拟合，而OrthoGrad开创性地从优化器更新角度入手，施加一种几何干预。具体而言，它在每个训练步骤中计算权重梯度，然后移除该梯度中与当前权重向量平行的部分（即径向分量），仅保留正交分量。这种正交投影操作旨在防止模型过度依赖噪声标签中的虚假相关性，从而延缓或减轻记忆效应。

为了验证OrthoGrad的有效性，研究团队在噪声标签图像分类任务上进行了实验。在MNIST数据集上，当训练数据量有限时（例如仅使用少量样本），使用正交梯度更新的卷积神经网络（CNN）相比标准SGD显著提升了测试准确率，并且对噪声标签的拟合程度较低。通过分析权重范数和梯度-权重余弦相似度等诊断指标，他们发现该投影机制在原始梯度包含较大径向分量时效果最为显著；当数据量增大，梯度本身已经接近正交于权重向量时，OrthoGrad的效果会减弱。这表明其正则化能力与梯度几何特性密切相关，并且只在特定条件下有效。具体来说，当原始梯度与权重向量的夹角较小时，径向分量较大，此时正交投影对更新的影响显著；反之，当夹角接近90度时，投影几乎不影响更新。

进一步在CIFAR-10数据集上使用ResNet-18进行的实验显示，OrthoGrad虽然能够改变模型的记忆轨迹，例如延迟过拟合的开始时间，但最终仍然无法阻止模型完全记住噪声标签。经过充足训练后，采用OrthoGrad的模型与普通训练的模型在噪声标签上的表现趋于一致，说明该方法并非一种通用的正则化手段。

作者强调，正交更新约束更适合作为一种诊断工具，帮助研究者观察学习过程中梯度方向的变化及其对记忆的影响。该研究已被2026年ICML HiLD研讨会接收，论文共7页。这一工作揭示了梯度几何与记忆中相互作用的新视角，并为未来设计更精细的更新约束提供了基础。例如，未来可以探索将OrthoGrad与其他正则化方法结合，或者通过自适应调整投影强度来提升其在不同场景下的有效性。总体而言，OrthoGrad为研究噪声标签学习动态提供了有价值的分析工具，尽管其在防止过拟合方面的能力有限。