LiST：用于鲁棒且校准神经网络的Lipschitz缩放训练
本研究提出LiST（Lipschitz缩放训练），一种新型训练范式，通过自动调整全局Lipschitz常数，在保证网络校准的同时，有效平衡准确性与鲁棒性。LiST揭示了Lipschitz约束与温度缩放之间的理论联系，并利用校准作为准则选择最优操作点。在CIFAR-10/100和Tiny-ImageNet上的实验表明，LiST在保持校准的同时，达到了与现有方法相当的准确性和鲁棒性。
在现代人工智能系统中，神经网络的可信度至关重要。虽然准确率、鲁棒性和校准性都是衡量模型可靠性的核心指标，但现有研究往往将它们分开处理。例如，采用Lipschitz约束的模型虽然能够保证鲁棒性，但手动选择Lipschitz常数L会直接影响准确率与鲁棒性的权衡，而这些模型的校准特性却很少被研究。为了解决这一挑战，来自IRIT的研究团队提出了一种名为LiST（Lipschitz缩放训练）的新型训练范式，能够自动调整网络的全局Lipschitz常数，从而在训练过程中同时优化准确率、鲁棒性和校准性。
该工作的关键发现是揭示了Lipschitz约束与温度缩放（一种最先进的校准方法）之间的理论联系。研究人员发现，对于给定的训练方案，存在一个特定的Lipschitz约束值L*，使得网络无需任何额外的校准步骤即可自动达到良好的校准状态。这意味着校准本身可以作为选择Lipschitz常数的原则性标准，从而在准确率-鲁棒性帕累托前沿上定义出一个明确的操作点。
LiST的核心机制如下：它通过迭代调整全局Lipschitz常数来逼近这个最优操作点。训练损失中包含一个边际参数，使用户能够在保持校准的前提下在准确率与鲁棒性之间进行灵活权衡。换句话说，LiST构建了一个完全校准的帕累托前沿，用户只需调节边际参数即可选择所需的折衷程度。此外，在训练收敛后，LiST还能将校准数据重新整合到训练过程中，从而在不牺牲校准性能的前提下提高样本效率。
为了验证LiST的有效性，研究团队在CIFAR-10、CIFAR-100和Tiny-ImageNet三个基准数据集上进行了实验。结果表明，LiST在准确率和鲁棒性方面与现有受约束和未受约束的基线模型相当，但最关键的是，它无需任何后处理校准步骤即可保持校准。这在实际应用中具有重要意义，因为后处理校准往往需要额外的验证集，而LiST的即用校准特性可以简化部署流程。
该研究的代码已在GitHub上开源，为社区提供了可复现的基准。这项研究不仅推进了神经网络鲁棒性和校准性的联合优化，也为安全关键领域的应用（如自动驾驶、医疗诊断）提供了更可靠的模型训练方案。未来工作可以探索LiST在其他网络架构和更大规模数据集上的表现。