LiST：用於魯棒且校準神經網絡的Lipschitz縮放訓練
本研究提出LiST（Lipschitz縮放訓練），一種新型訓練範式，通過自動調整全局Lipschitz常數，在保證網絡校準的同時，有效平衡準確性與魯棒性。LiST揭示了Lipschitz約束與温度縮放之間的理論聯繫，並利用校準作為準則選擇最優操作點。在CIFAR-10/100和Tiny-ImageNet上的實驗表明，LiST在保持校準的同時，達到了與現有方法相當的準確性和魯棒性。
在現代人工智能系統中，神經網絡的可信度至關重要。雖然準確率、魯棒性和校準性都是衡量模型可靠性的核心指標，但現有研究往往將它們分開處理。例如，採用Lipschitz約束的模型雖然能夠保證魯棒性，但手動選擇Lipschitz常數L會直接影響準確率與魯棒性的權衡，而這些模型的校準特性卻很少被研究。為了解決這一挑戰，來自IRIT的研究團隊提出了一種名為LiST（Lipschitz縮放訓練）的新型訓練範式，能夠自動調整網絡的全局Lipschitz常數，從而在訓練過程中同時優化準確率、魯棒性和校準性。
該工作的關鍵發現是揭示了Lipschitz約束與温度縮放（一種最先進的校準方法）之間的理論聯繫。研究人員發現，對於給定的訓練方案，存在一個特定的Lipschitz約束值L*，使得網絡無需任何額外的校準步驟即可自動達到良好的校準狀態。這意味着校準本身可以作為選擇Lipschitz常數的原則性標準，從而在準確率-魯棒性帕累託前沿上定義出一個明確的操作點。
LiST的核心機制如下：它通過迭代調整全局Lipschitz常數來逼近這個最優操作點。訓練損失中包含一個邊際參數，使用户能夠在保持校準的前提下在準確率與魯棒性之間進行靈活權衡。換句話説，LiST構建了一個完全校準的帕累託前沿，用户只需調節邊際參數即可選擇所需的折衷程度。此外，在訓練收斂後，LiST還能將校準數據重新整合到訓練過程中，從而在不犧牲校準性能的前提下提高樣本效率。
為了驗證LiST的有效性，研究團隊在CIFAR-10、CIFAR-100和Tiny-ImageNet三個基準數據集上進行了實驗。結果表明，LiST在準確率和魯棒性方面與現有受約束和未受約束的基線模型相當，但最關鍵的是，它無需任何後處理校準步驟即可保持校準。這在實際應用中具有重要意義，因為後處理校準往往需要額外的驗證集，而LiST的即用校準特性可以簡化部署流程。
該研究的代碼已在GitHub上開源，為社區提供了可復現的基準。這項研究不僅推進了神經網絡魯棒性和校準性的聯合優化，也為安全關鍵領域的應用（如自動駕駛、醫療診斷）提供了更可靠的模型訓練方案。未來工作可以探索LiST在其他網絡架構和更大規模數據集上的表現。