スタンフォード大学のXingyao Xiao氏と澳門城市大学のYihong Cheng氏によるarXivプレプリントは、ベンチマーク汚染が大規模言語モデル（LLM）のリーダーボードに与える影響を再検討している。ベンチマーク汚染とは、テスト問題が学習データに漏れ込む現象であり、LLMリーダーボードの信頼性に対する脅威として広く語られている。著者らは、その議論が「汚染が絶対スコアを押し上げるか」と「汚染がモデルの順位を並べ替えるか」という異なる問いを混同していると指摘する。
両者の効果を分離するため、論文では汚染を「アンカー項目不変性」の違反と捉え直す。測定には、元の問題と意味的に等価な言い換え問題に対する応答差を用いる。この項目内対比は、測ろうとしている技能を同じに保ちながら、学習データ中の問題を覚えている効果と真の能力を分離できる。
実験はARC、GSM8K、HellaSwag、MMLUの4ベンチマークで実施された。47の公開モデルのインスタンスごとの応答と、既知の汚染量でファインチューニングした74モデルを使い、まず指標を検証した。測定値は注入した汚染量に応じて増加し、テストセット漏えいによる補正効果は+0.187精度ポイントだった。合法的な訓練分割のみで学習した陰性対照モデルは-0.012で、正常な学習を誤って汚染と判定しないことも確認された。
次にリーダーボードへの影響を定量化した。標準ランキングと言い換え対照ランキングの順位相関は0.997。感度分析では、観測された差別的汚染は順位を動かす水準を大きく下回っており、2つの参照条件で裏付けられた差別的汚染は188組中3組だけだった。差別的汚染とは、特定のモデルだけが他より多く評価データに触れている状態を指す。
これらの結果から、公開モデルでの汚染はほぼ一様であると結論できる。つまり絶対スコアは押し上げるが、リーダーボード上の相対順位はほとんど変えない。順位の歪みが生じるのはまれな差別的汚染が起きた場合に限られる。著者らは校正済みの不変性監査を参照実装として公開し、リーダーボード側も標準の順位とともに、信頼区間付きの言い換え対照ランキングを提示するよう提案している。