在人工智能领域，使用大型语言模型（LLM）作为评估者（即“LLM-as-a-judge”）已成为一种流行做法。人们通常认为，将多个不同模型组成评审小组进行投票，能够利用多样性提高评估的可靠性。然而，一项发表于2026年6月的新研究对此提出了严峻挑战。该研究由Guneet Kohli撰写，题为《九位法官，两票有效：相关误差削弱LLM评估小组》，通过严谨的框架测量了此类评审小组的真实信息价值，并量化了其可靠性相对于独立投票理想的差距。
研究团队构建了一个由9个前沿LLM组成的评审小组，这些模型来自7个不同的模型家族。他们在三个自然语言推理数据集上进行了测试，每个数据项都包含100条人类标注作为基准。分析结果令人震惊：这9位“法官”实际上只提供了大约2个独立投票所蕴含的信息量。也就是说，小组名义上的独立性约有四分之三因为模型在相同项目上犯相同错误而丧失。这种高度相关的错误模式严重削弱了集体智慧的优势。
这种相关性的后果非常直接：评审小组的实际准确率比独立投票理想情况下所能达到的准确率低了8到22个百分点。更令人意外的是，在所有测试条件下，表现最佳的单一法官的准确率都等于或超过了整个9人小组。这意味着，简单地增加更多法官并不能提升评估质量，反而可能造成资源浪费和虚假的信心。
研究进一步探讨了是否可以通过改进聚合算法来弥补这一差距。他们测试了多种既定方法，但即使这些方法能够访问正确答案，最多也只能缩小11%的差距。无论是改变提示词、调整温度参数、引入思维链推理，还是在成对偏好任务（如RewardBench）上进行测试，这种有效样本量不足的缺陷都稳健地存在。
为了量化这些发现，研究者使用了Kish有效样本量（n_eff）和Condorcet零模型。他们明确指出，瓶颈在于法官之间的相关性，而非聚合算法。因此，试图通过扩大评审小组规模来替代真正独立的评估是行不通的。这项研究提醒我们，在依赖LLM进行自动化评估时，必须警惕模型错误的系统性关联，并寻求真正多样化和独立的评估信号。