大規模言語モデル（LLM）ベースの対話型アプリケーションが次々と生まれ、改良が進むにつれ、モデル開発者は生成テキストの品質をさまざまな観点から評価する必要に迫られている。単純なシステムであれば人手による評価が現実的かもしれないが、対話型チャットボットのような複雑なシステムでは、生成されるテキストの量が人手アノテーションのリソースを圧迫しかねない。そのため開発者は、LLM自身に生成品質を判定させる自動評価に大きく依存するようになっている。しかし、既存のLLM-as-a-judgeベンチマークは主に単純なQ&Aタスクに焦点を当てており、マルチターン会話の複雑さには対応していない。
そこで論文は、参照文書に基づくマルチターン会話においてLLMの判定能力を評価するためのベンチマーク生成器「RankJudge」を提案する。RankJudgeの中心的な設計は、ペアの会話を生成し、そのうち一方の会話の1ターンに単一の欠陥を注入するというものである。この構造により、各会話ペアはより良い／より悪いと曖昧さなくラベル付けでき、失敗カテゴリを特定のターンに正確に切り分けられるため、厳密な同時正解性基準による判定が可能になる。
研究チームはRankJudgeを機械学習、生物医学、金融の3領域に実装し、21の最先端LLMジャッジを評価したうえで、Bradley-Terryモデルを用いてランク付けした。この定式化により、各会話ペアに難易度評価を付与することも可能になり、著者らはこれを使って評価スライスを動的にキュレーションし、ラベルノイズを低減している。この効果は人手アノテーションによって確認された。
実験の結果、ジャッジのランキングは、部分観測性、より粗い正解性基準、および代替のランダムウォーク評価アルゴリズムの下でも安定していることが分かった。本論文は2026年5月20日にarXivに投稿され、計算と言語（cs.CL）に分類されており、著者はZhenwei Tang氏ら6名である。