RankJudge 是一个面向多轮对话场景的 LLM-as-a-Judge 基准生成器，由 Zhenwei Tang 等六位作者撰写，于 2026 年 5 月 20 日提交至 arXiv，编号为 arXiv:2605.21748，属于计算与语言（cs.CL）类别。该论文针对当前自动评估体系中的一个关键缺口：随着交互式 LLM 应用不断被开发和迭代，模型开发者需要沿多个维度衡量生成文本的质量，但在聊天机器人等复杂系统中，生成的文本量往往远超人工标注资源所能承受的范围，因此业界越来越依赖让 LLM 自身充当评判者进行自动评估。然而，现有的 LLM-as-a-judge 基准大多聚焦于简单的问答任务，其复杂度与真实的多轮对话相去甚远。
为解决这一问题，RankJudge 被设计为一个基于参考文档、面向多轮对话的评判基准生成器。其核心构造方式是生成成对的对话：在其中一段对话的某一轮中注入单一缺陷，另一段则保持正常。这种配对设计带来两个关键优势。第一，成对对话可以被无歧义地标注为“更好”或“更差”，从而避免主观评分带来的标签噪声；第二，由于缺陷被精确隔离到具体轮次，失败类别能够被准确定位，使评判可以采用严格的联合正确性标准，而非笼统的整体印象。
研究团队在机器学习、生物医学和金融三个领域实现了 RankJudge，并以此评估了 21 个前沿 LLM 评判者，随后通过 Bradley-Terry 模型对这些评判者进行排名。该模型的另一特点是能够为每个对话对赋予难度评级，研究者利用这些难度信息动态筛选评估切片，以减少标签噪声，并通过人工标注对这一做法进行了确认。论文还报告了稳健性分析结果：在部分可观测性、更粗粒度的正确性标准，以及一种替代性的随机游走评分算法下，评判者的排名依然保持稳定。这些发现表明，RankJudge 所构建的配对式多轮对话基准不仅能更贴近真实交互场景，还能在多种评估设置下提供可靠的评判者排名。
论文的提交历史显示，v1 版本于 2026 年 5 月 20 日 21:20:01 UTC 提交，文件大小约 814 KB。该论文以 PDF、实验性 HTML 和 TeX 源码形式公开，DOI 为 10.48550/arXiv.2605.21748。该工作属于 cs.CL 领域，为多轮对话环境下的自动评估研究提供了一个可复用、可扩展的合成基准生成框架。