LangSmith 近日推出了一项名为 Align Evals 的新功能，旨在帮助开发者校准 LLM 评估器，使其评分更接近人类偏好。该功能于 2025 年 7 月 29 日发布，目前面向所有 LangSmith Cloud 用户开放，自托管版本预计本周晚些时候推出。
评估是改进 LLM 应用的关键技术，无论是调整单个提示还是构建复杂代理，评估都能可靠地衡量输出质量并理解更改的影响。然而，团队经常面临一个挑战：评估分数与人类预期不符。这种不匹配会导致比较结果充满噪音，并浪费时间去追踪虚假信号。Align Evals 正是为解决这一问题而设计，其灵感来源于 Eugene Yan 关于构建 LLM 作为评判者评估器的文章。
在此之前，迭代评估器往往需要大量猜测。很难发现评估器行为中的趋势或不一致，而且在修改评估器提示后，也不清楚哪些数据点导致分数变化以及原因。Align Evals 提供了三大核心功能：一个类似游乐场的界面，用于迭代评估器提示并查看评估器的“对齐分数”；并排比较人工评分数据和 LLM 生成的分数，并支持排序以识别“未对齐”的案例；以及保存基线对齐分数，以便将最新更改与先前版本的提示进行比较。
对齐流程分为四个步骤。首先，选择评估标准，这些标准应涵盖应用应做好的方面，例如对于聊天应用，正确性很重要，但简洁性同样重要。其次，选择用于人工审查的数据，创建一组代表性示例，覆盖应用实际生成的输出范围，包括好例子和坏例子。第三，用预期分数对数据进行评分，为每个评估标准手动为每个示例分配分数，这些分数构成“黄金标准”，用于评判评估器的响应。第四，创建评估器提示并针对人工评分进行测试，使用对齐结果进行迭代。例如，如果 LLM 持续对某些响应过度评分，可以尝试添加更清晰的负面标准。改进评估器分数是一个迭代过程，更多最佳实践可在文档中查阅。
未来，LangSmith 计划添加分析功能，以便随时间跟踪评估器的性能演变，并实现自动提示优化，自动生成提示变体。开发者可以通过查阅开发者文档或观看视频教程开始使用，并在 LangChain 社区论坛提供反馈。