LLM评估框架比较：如何真正衡量模型性能

在2026年，LLM应用已经成为主流，但评估其输出质量仍然是一个挑战。传统的软件错误会生成堆栈跟踪，而LLM的错误则是自信地、看似合理地给出错误答案，这种失败模式难以通过手动检查发现。目前，三个开源工具主导了LLM评估实践：RAGAS、DeepEval和Promptfoo，它们各自针对不同的问题领域，而非直接竞争。

RAGAS是研究驱动的框架，其指标具有学术级的方法论支持，特别适合检索增强生成（RAG）场景。它提供忠诚度、上下文精确度和召回率等指标，用于判断生成的内容是否忠实于检索到的上下文。DeepEval是Python原生的评估框架，与pytest集成，可以像单元测试一样阻断部署。它支持14种以上指标，包括幻觉、偏见和毒性检测。Promptfoo则采用CLI和YAML配置，擅长多模型提示比较和对抗性红队测试，内置500多个攻击向量。

从评估指标来看，忠诚度（是否每个声明都有上下文支持）是捕捉RAG幻觉的核心。上下文精确度和召回率评估检索到的文档是否恰当。答案相关性判断响应是否直接回答了问题。G-Eval通过链式思维提示和填空引导LLM评判者按照显式标准评分，更贴近人类偏好。不同的框架在这些指标上的实现差异不大，真正的区别在于工作流集成方式。

代码演示部分展示了如何实现忠诚度检查。通过将回答分解为原子声明，然后逐一检验声明在上下文中的支持情况，可以量化忠诚度得分。例如，上下文提到“阿布贾在1991年成为尼日利亚首都”，而回答额外添加了“该市人口超过300万”，若上下文未提及人口数据，则判定为不支持的声明，忠诚度得分下降。这种机制使用关键词重叠简化演示，而实际RAGAS库会使用LLM进行更精确的声明分解和支持判断。

另一个代码演示展示了DeepEval的CI门控评估模式。它允许将评估作为pytest测试运行，一旦质量退步，构建失败，而不是生成一个需要人工阅读的报告。这对于在开发流程中持续监控LLM输出质量至关重要。

最后，文章强调了LLM作为评判者的偏差问题，包括位置偏差（评判者偏好特定位置的选项）、自我偏好偏差（LLM偏向自己的输出）和冗长偏差（更长的答案获得更高评分）。这些偏差需要通过审计工具检测，并在生产中进行缓解。成熟的GenAI QA项目通常会并行运行两个框架：一个用于阻止不良部署，另一个用于持续监控和人工审查。