LiST: ロバストでキャリブレーションされたニューラルネットワークのためのリプシッツスケーリング学習
本研究では、自動的に大域リプシッツ定数を調整することで、精度とロバスト性のバランスを保ちつつキャリブレーションされたニューラルネットワークを実現する新しい学習パラダイムLiSTを提案する。リプシッツ制約とTemperature Scalingの理論的関連を明らかにし、キャリブレーションを基準として最適動作点を選択する。CIFAR-10/100およびTiny-ImageNetでの実験により、キャリブレーションを維持しながら既存手法と同等の精度とロバスト性を示した。
現代の人工知能システムにおいて、ニューラルネットワークの信頼性は極めて重要である。精度、ロバスト性、キャリブレーションは信頼性を測る主要な指標であるが、既存研究ではこれらを別々に扱うことが多い。例えば、Lipschitz制約を用いたモデルはロバスト性を保証するが、Lipschitz定数Lの手動選択が精度とロバスト性のトレードオフを決定し、キャリブレーション特性はほとんど調査されていない。この課題に対処するため、IRITの研究チームはLiST（Lipschitz Scaling Training）と呼ばれる新しい訓練パラダイムを提案した。これはネットワークの大域Lipschitz定数を自動調整し、訓練中に精度、ロバスト性、キャリブレーションを同時に最適化する。
本研究の重要な発見は、Lipschitz制約とTemperature Scaling（最先端のキャリブレーション手法）の間の理論的関連を明らかにしたことである。特定の訓練方式に対して、特別なキャリブレーションなしでネットワークが自動的に良好なキャリブレーション状態に達するようなLipschitz制約値L*が存在することが示された。つまり、キャリブレーション自体をLipschitz定数選択の原理的な基準として利用できる。
LiSTの核心は以下の通りである。大域Lipschitz定数を反復的に調整して最適動作点に到達する。損失関数にマージンパラメータを導入することで、キャリブレーションを維持しながら精度とロバスト性のトレードオフを柔軟に調整できる。収束後はキャリブレーションデータを訓練に再統合し、サンプル効率を向上させる。
実験では、CIFAR-10/100およびTiny-ImageNetにおいて、LiSTは制約あり・なしのベースラインモデルと同等の精度とロバスト性を示し、かつ後処理なしでキャリブレーションを維持した。コードはGitHubで公開されており、再現可能なベンチマークを提供する。この研究は、安全重要な分野（自動運転、医療診断など）における信頼性の高いモデル構築に貢献する。