LangSmith 作为 LangChain 的评估和追踪平台，一直致力于解决开发者在将 LLM 应用投入生产时面临的测试和评估难题。随着新模型、新检索技术和新代理架构的不断涌现，开发者很难从众多选项中辨别哪些真正适合自己的应用。为此，LangSmith 于 2023 年 11 月 22 日宣布推出测试共享功能，允许任何人公开分享评估数据集和结果，并发布 langchain-benchmarks 包，以便社区复现和实验。
测试共享功能不仅公开最终指标，还包含每个评估结果的完整追踪记录。这意味着用户可以查看不同系统在同一数据点上的逐步执行过程，而不仅仅是聚合统计。首个发布的基准是 LangChain Python 文档的问答数据集，包含手工编写的问题-答案对，旨在测试 RAG 系统在需要跨文档合成答案或问题与文档知识冲突时的表现。
langchain-benchmarks 包提供了在问答数据集上实验不同架构的工具，支持测试不同的 LLM、提示、索引技术等。初始评估涵盖了多种模型（OpenAI、Anthropic、开源模型）和认知架构（对话检索链、代理）。例如，对话检索链使用相同的检索器（基于 OpenAI 的 text-embedding-ada-002 和 ChromaDB），因此结果差异主要源于 LLM 的推理能力。代理则使用相同的检索工具，但允许 LLM 生成自己的查询。
评估指标包括余弦距离（越低越好）和基于 LLM 的准确性评分（越高越好）。结果显示，OpenAI 的助手 API 获得了最高分 0.62，而 gpt-4-preview-openai-functions-agent 得分为 0.58。对话检索链中，gpt-4-chat 得分为 0.50，gpt-3.5 为 0.56，开源模型 zephyr-7b-beta 和 mistral-7b-instruct 分别为 0.31 和 0.46。总体而言，开源模型在现成提示下未能匹配专有 API 的聚合性能，但通过提示工程可能缩小差距。
通过 LangSmith 的比较视图，用户可以手动审查输出，识别失败模式。例如，在一个需要知道包范围的问题中，gpt-3.5 产生了幻觉并提供了一个虚假链接，而 mistral 模型虽然未答对但避免了不准确信息。追踪显示检索到的文档不相关，提示可通过添加系统提示或改进检索器来缓解。另一个例子中，gpt-3.5 正确而 mistral 错误，原因是 mistral 过度关注了检索文档中排名靠后的内容。通过调整文档顺序，mistral 也能给出正确答案。
除了准确性，延迟也是重要指标。虽然文章被截断，但可以看出 LangSmith 的共享功能旨在帮助开发者全面评估和优化 LLM 应用。通过公开基准和工具，LangChain 希望促进社区驱动的评估，加速 LLM 应用的开发与部署。