理解LLM评估的四种主要方法（从头实现）：多选题、验证器、排行榜和LLM裁判

大语言模型（LLM）的评估是选择和应用模型时的核心问题。本文将从零开始探讨四种主流评估方法，并提供代码示例，帮助读者理解其内部机制和权衡。

1. 多选题基准

多选题基准（如MMLU）是历史上最广泛使用的评估方法之一。模型需要从给定的选项中选择正确答案，性能以准确率衡量。例如，MMLU包含57个学科约1.6万个问题。这种方法的优点在于标准化、可重复且运行成本低。然而，它只测量知识回忆，不反映模型在实际使用中的表现。

代码实现

文章展示了如何使用预训练的Qwen3 0.6B模型来评估MMLU子集。首先加载模型，然后格式化提示词，最后提取模型生成的答案字母并与正确答案比较。示例显示，在高中数学子集上，基础模型和推理模型的准确率均不高。

2. 验证器

与多选题不同，验证器方法允许模型生成自由形式答案，然后通过外部工具（如代码解释器）提取最终答案并与正确答案比较。这种方法适用于数学和代码等可验证的领域，并已成为推理模型评估的基石。其缺点是引入了外部依赖，且仅适用于结果可验证的任务。

3. 排行榜

排行榜（如LM Arena）基于用户偏好对模型进行排名。用户比较两个模型的回答并投票选择更好的一个。文章介绍了如何通过Elo评分系统将成对投票转化为排行榜。Elo系统根据比赛结果更新评分，但存在顺序效应。更先进的Bradley-Terry模型可以联合估计所有评分并消除顺序效应。排行榜能反映用户的真实偏好，但易受用户人口统计和投票偏见影响。

代码实现

文章提供了Elo评分的Python实现，通过成对投票列表计算每个模型的最终评分，并对模型进行排序。

4. LLM裁判

LLM裁判使用另一个LLM根据预定义评分标准对模型回答打分。这种方法可扩展且一致，但依赖裁判模型的能力和提示词设计。文章演示了如何使用Ollama运行gpt-oss模型作为裁判，通过API对模型回答进行评分。

代码实现

文章展示了如何通过Ollama API向本地模型发送提示词，并获取评分结果。示例中，裁判根据评分标准对候选答案给出1-5分的评分。

总结

四种方法各有优劣：多选题简单但局限，验证器适合可验证任务，排行榜反映偏好但成本高，LLM裁判可扩展但依赖裁判质量。实际应用中常结合多种方法。本文的从零实现有助于深入理解评估机制。

整体而言，LLM评估是一个复杂但至关重要的领域。通过本文，读者能够掌握四种核心评估方法，并根据自身需求选择合适的技术。从代码实现中，可以直观地看到每种方法的工作流程和注意事项。未来，随着LLM能力的提升，评估方法也将不断演进。