機械学習において、ノイズラベル学習（Noisy-Label Learning）は長年にわたる重要な課題である。実際のデータセットでは、アノテーターの能力不足やデータ自体の曖昧性により、ラベルにノイズが含まれることが多い。このノイズがモデルに与える影響を研究するために、研究者は合成ノイズベンチマークを使用する。中でもインスタンス依存ノイズ（Instance-Dependent Noise, IDN）は、ノイズ確率が入力特徴に依存するため、より現実的であると考えられている。しかし、既存の合成IDN手法は、不完全なアノテーターや分類器レーターを介してノイズを生成することが一般的であり、曖昧性の原因が暗黙的で制御が困難であった。
この問題に対処するため、arXivに投稿された最新論文「Benchmarking Instance-Dependent Label Noise with Controlled Corruptions」では、CILNフレームワークを提案している。CILNの核となるアイデアは、制御された入力摂動（例：ガウシアンノイズ、オクルージョンなど）を用いてIDNを生成することである。具体的には、多様な投票者プール（異なる分類器やルール）が摂動されたインスタンスをラベル付けし、その結果得られたラベル分布からベンチマークデータセットを構築する。これにより、曖昧性の原因（摂動タイプ）とその深刻度（摂動強度）が明示的かつ制御可能となる。
CILNの有効性を検証するため、論文ではCIFAR-10、MNIST、Adultの3つのデータセットを用いて90のベンチマーク設定を構築した。これらの設定は、複数の摂動ファミリー（例：ピクセルレベルのノイズ、セマンティックな摂動）と深刻度レベルをカバーしている。実験結果は、CILNによって生成されたベンチマークが真のインスタンス依存ノイズを示し、その混同行列が既存手法よりも多様であることを示した。特にCIFAR-10において、CILNのラベル分布は既存の合成IDNベンチマークよりも人間の不確実性に近いことが確認され、その現実性が裏付けられた。
さらに注目すべきは、CILNが生成するノイズが、Co-TeachingやDivideMixといった一般的なノイズラベル学習手法の故障モードを明らかにした点である。これらの故障モードは、同等のノイズ率であってもレーター誤りに基づくノイズでは観察されなかった。このことは、ノイズ率だけでなくノイズの構造（すなわちノイズのタイプや分布）がベンチマークの難易度とアルゴリズムの挙動に決定的な役割を果たすことを示している。
CILNの意義は、ノイズラベル学習研究に補完的なベンチマーク生成フレームワークを提供することにある。曖昧性の生成を明示的に制御することで、研究者はインスタンスの困難さの異なる原因（例えば曖昧性やあいまいさ）がアルゴリズムに与える影響を体系的に研究できるようになる。これにより、よりロバストなノイズラベル学習手法の開発が促進されることが期待される。本論文は会議に投稿されており、arXiv上で公開されている。コードも公開予定であり、今後の研究の再現と拡張が容易になるだろう。