テストをテストする：クラス分割異常検知におけるスコア方向の不安定性
研究により、データセット内のクラス分割評価において、保留された異常クラスが表現空間で正常な混合と重なる場合、異常スコアがランダムになったり反転したりする可能性があり、最適なスコア方向が未知の異常クラスに依存することが示された。訓練不要の診断手法「近傍クラスリーク」を導入し、複数のデータセットと潜在空間でスコア方向の不安定性を予測できることを実証。クラス分割ベンチマークは幾何学的依存のストレステストとして扱うべきだと結論付けている。
新しい研究が、現在広く使われている異常検知評価手法に根本的な欠陥があることを明らかにしました。この研究は2026年の国際機械学習会議（ICML）の仮説検定ワークショップで発表される予定であり、データセット内のクラス分割評価に基づく主流の実践に挑戦しています。
機械学習の分野では、異常検知は通常、データセットを複数のクラスに分割し、そのうちの1つを「異常」、残りを「正常」として保持することでモデルの性能を評価します。このクラス分割評価は、完全に無条件の分布外異常検知の代理として見なされています。しかし、研究チームによる新しい研究は、このプロトコルが根本的に不適切である可能性があることを示しています。
核心的な問題は、保留された異常クラスが表現空間で正常クラスの混合分布と重なる場合、異常スコアが劣化したり反転したりすることです。この幾何学的状態では、理想的な高い異常スコアがランダムな推測に近づいたり、さらに悪い場合にはスコア方向が完全に逆転したりします。さらに複雑なことに、最適なスコア方向は未知の異常クラスに依存するため、評価の客観的な基準が失われます。
この問題に対処するため、研究者は「近傍クラスリーク」（Neighborhood Class Leakage）というシンプルで訓練不要の診断ツールを導入しました。Fashion-MNIST、CIFAR-10、Imagenetteデータセットでの実験により、この診断方法はピクセル空間と変分オートエンコーダ（VAE）潜在空間の両方でスコア方向の不安定性を予測できることが示されました。
複数の機関からの著者チームは、これらの発見を既存の異常検知手法の能力否定としてではなく、コミュニティへの注意喚起として強調しています。「評価結果がデータの幾何学的構造に大きく依存する場合、これらのベンチマークが実際に何を測定しているのかを再考する必要がある」と研究者は論文で述べています。
この研究はarXivプレプリント（arXiv:2606.02601）として公開され、ICML 2026ワークショップで受理されました。論文はわずか4ページ、1つの図表で、この分野の重要な方法論的問題を簡潔かつ力強く指摘しています。実務者にとっての教訓は、クラス分割評価を使用する際には、表現空間でのクラス重なりをチェックしなければ、誤解を招く結論に至る可能性があるということです。