基于共识的大语言模型相对偏好评估框架
这篇论文提出了一种基于共识的大语言模型（LLM）评估框架，通过让多个LLM对彼此的匿名输出进行投票排名，计算相对智能指数（RII），以衡量模型间的相对偏好，而非绝对正确性。研究发现，不同模型在某些领域存在一致的偏好模式，但该结果反映的是模型间的一致性，而非客观正确性或人类判断。该方法为存在多个有效答案的场景提供了一种可扩展的、模型驱动的比较评估方法。
大语言模型（LLM）的评估一直是一个核心挑战。传统的基准测试通常依赖静态数据集和客观评分指标，例如准确率或困惑度。然而，当一个问题存在多个可接受的答案时，这些指标往往难以区分不同响应在清晰度、完整性和有用性方面的细微差别。针对这一问题，一篇由Mohtashim Khan撰写的论文《基于共识的相对偏好评估框架》提出了一种全新的、基于共识的评估方法。
该框架的核心思想是：不再追求绝对的正确性，而是衡量LLM之间的相对偏好。具体来说，研究人员让一组多样化的LLM作为“评审委员会”，对同一提示词生成的匿名响应进行独立排名。通过汇总这些排名，计算出每个模型的“相对智能指数”（Relative Intelligence Index, RII），该指数反映了该模型的输出在其他模型中被偏好的频率。这种方法将模型间的一致认可视为响应质量的替代指标。
在实验中，作者选取了五个最先进的LLM，涵盖编程、通用知识、安全、逻辑推理和数学等多个领域。每个模型首先生成响应，然后通过结构化的投票过程独立评估其他模型的匿名输出。结果显示出跨领域的一致性偏好模式：某些模型被同行更频繁地评为高质量。然而，论文明确指出，这些结果反映的是模型间的偏好对齐，而非客观正确性或与人类判断的对应。不过，先前的研究表明，聚合的模型偏好可能部分与人类评价相关，因此该方法可以作为近似信号。
这一框架为LLM比较提供了一种可扩展、模型驱动的新视角，特别适用于那些存在多个有效答案的场景。尽管它与人类评估不完全一致，但其高效的自动化特性使其在模型开发和对比中具有潜在价值。该论文还探讨了该方法的局限性，例如可能存在的模型间偏差和对齐问题。
论文标题为《A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models》，提交至arXiv（ID: 2607.21632），共14页，包含7张图表。实验细节和完整结果可在论文中查阅。