難しい事例、悪いラベル： bounded label noise 下の不確実性サンプリングにおけるエラー露出とエラー位置の検証

アクティブラーニングは、情報量の高いサンプルを選ぶことでラベリングコストを削減する手法だが、最も不確実なサンプルは人間が正しくラベル付けするのも難しいという懸念がある。John Myron Uy氏によるarXivプレプリント（2608.13601）は、不確実性サンプリングがラベルノイズ下で失敗する原因を、誤ったラベルを多く取得することなのか、困難な領域に誤りが集中すること自体が有害なのか、という二つの仮説に分けて検証した。

実験では、マージン基準の不確実性サンプリングとランダムサンプリングを、Breast Cancer Wisconsin、Banknote Authentication、MAGIC Gamma Telescopeという3つの公開バイナリ表形式データセット上で比較した。設計は非常に丁寧で、100組のペア乱数シード、0から0.30までの9段階の期待ノイズ率、20から120までのアノテーションバジェットを設定し、ロジスティック回帰の正則化パラメータは各バジェットごとに交差検証で再選択している。最終的な取得汚染の平均を揃える露出マッチ型のランダム分類ノイズ（RCN）対照も用意し、クリーンラベル条件では予算400までの拡張実験を行った。

クリーンラベル下では、不確実性サンプリングは全データセットで正規化バランス精度の学習曲線下面積を1.09〜1.77パーセントポイント改善し、ラベル効率の高さを確認できた。しかしノイズを加えると結果は複雑になる。Breast Cancer Wisconsinでは、難易度依存ノイズが8レート中6レートでRCN以上に利点を減少させたが、他の2データセットではそのような差はまったく見られなかった。露出マッチ分析では、エラー位置に起因する普遍的な追加ペナルティの存在を示す補正後の証拠は得られなかった。

さらに、評価指標の選択が結論を左右することも示された。クリーンなMAGICデータでは、不確実性サンプリングがバランス精度を改善する一方で、平均精度と固定偽陽性率における真陽性率を低下させた。単一の指標だけで判断すると誤った結論に導かれかねない。著者は、不確実性サンプリングはラベル効率に優れるが、そのロバスト性はデータセット、バジェット、ノイズ構造、評価指標に依存すると結論づけている。論文は14ページ、図5点、表4点で構成され、コードと再現資料は公開されている。