複数の大規模言語モデル（LLM）を審判として使い、同じ判断を多数決や合意で評価する手法は、しばしば高い信頼性の証拠と見なされる。しかし arXiv に投稿された新しい論文は、そこに各審判の誤りは互いに独立であるという暗黙の前提があると指摘する。実際には LLM 審判は似た方法で訓練・評価されることが多く、同じ間違いを共有しうる。論文「Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus」は Elias Hossain 氏ら 3 名によるもので、2026 年 9 月 18 日に提出され、cs.AI に分類されている。識別子は arXiv:2609.22512 である。
研究は、審判間の誤差相関が合意の信頼性に与える影響を体系的に調べた。オープンウェイトモデルとフロンティアモデルの双方で、誤差に相当な相関が見られた。主要な 10 名の審判群では、審判誤差の平均ペアワイズ相関は 0.21 であった。その結果、この 10 名は統計情報としてはおよそ 3.5 名の独立した審判にしか相当しない。つまり、見かけ上の多数決や合意は、一般に考えられるほど強い統計的根拠を持たない。
さらに、高精度のフロンティア審判の間では依存性がより強く、異なる提供元のモデルを混ぜても同じ傾向が確認された。比較の最大 28% では、共有誤差を無視すると一方のシステムが有意に優れているという結論になるが、共有誤差を考慮するとその有意性は消える。著者らはこの点を、合意を過信することの具体的なリスクとして示している。
誤差の分布パターンも重要である。大多数の審判が共有する誤りと、少数の審判に集中する誤りでは、合意への影響が異なり、有利になる投票方式も変わる。したがって、全体の相関量だけを測るのでは不十分だという。
著者らは実務的な改善案を提示する。少数の信頼できるサンプルを使って審判の精度を推定し、共有された誤りを特定する。そのうえで結果を分析する際に共有誤差を考慮し、新しいデータに適用する前に信頼できるサンプルで投票方式を選ぶ。論文の DOI は 10.48550/arXiv.2609.22512 で、登録は保留中である。