人工知能の分野では、大規模言語モデル（LLM）を評価者として使用する「LLM-as-a-judge」が一般的な手法となっている。複数の異なるモデルを评审団として投票させることで、多様性を活かして評価の信頼性を高められると期待されている。しかし、2026年6月に発表されたGuneet Kohli氏による新研究「9人の裁判官、実質2票：相関する誤りがLLM評価パネルを損なう」は、この期待に深刻な疑問を投げかけている。研究チームは、このような评审パネルの真の情報価値を測定する枠組みを開発し、その信頼性が独立投票の理想からどの程度乖離しているかを定量化した。
研究では、7つのモデルファミリーからなる9つの最先端LLMで评审パネルを構成し、3つの自然言語推論データセットでテストを行った。各データ項目には100件の人間による注釈が含まれている。分析の結果、驚くべきことに、9人の「裁判官」が提供する情報は、実質的に約2票分の独立した投票に相当するのみであることが判明した。つまり、パネルの名目上の独立性の約4分の3は、モデルが同じ項目で同じ誤りを犯すために失われているのである。このような高度に相関した誤りパターンは、集団の知恵の利点を著しく損なう。
この相関の結果は厳しい。パネルの実際の精度は、独立投票の理想的な場合に達成される精度を8〜22パーセントポイント下回る。さらに驚くべきことに、すべてのテスト条件において、最も性能の高い単一の裁判官が9人のパネル全体と同等かそれ以上の精度を示した。これは、単に裁判官の数を増やしても評価の質は向上せず、むしろリソースの無駄と誤った自信を生む可能性があることを意味する。
研究はさらに、集約アルゴリズムの改善によってこのギャップを埋められるかどうかを検討した。いくつかの既存手法をテストしたが、これらの手法が正解にアクセスできる場合でも、ギャップの最大11％しか縮められなかった。プロンプトの変更、温度パラメータの調整、思考の連鎖（chain-of-thought）推論の導入、あるいはRewardBenchのようなペアワイズ選好タスクにおいても、有効サンプルサイズの不足という欠陥は頑強に存在し続けた。
これらの発見を定量化するため、研究者はKishの有効サンプルサイズ（n_eff）とCondorcetヌルモデルを使用した。そして、ボトルネックは裁判官間の相関であり、集約アルゴリズムではないと明確に指摘している。したがって、评审パネルの規模を拡大することで真に独立した評価の代わりとすることはできない。この研究は、LLMによる自動評価に依存する際には、モデルの誤りが系統的に関連していることに警戒し、真に多様で独立した評価シグナルを求める必要があることを喚起している。