GLM-5.2 (max) 在 Harvey LAB-AA 基准测试中与 Claude Opus 4.8 持平

Artificial Analysis 最近发布了 Harvey LAB-AA（法律代理基准测试）的最新结果。该基准由法律科技公司 Harvey 开发，旨在衡量 AI 代理在实际法律工作中的能力，而非回答孤立的法律问题。测试数据集包含 120 个私有任务，覆盖 24 个法律实践领域，如并购、诉讼、合同审查等。每个任务模拟律师助理的指令，代理需要在沙盒环境中读取案件文档，并生成法律交付物，例如备忘录、披露日程和证词摘要。这些交付物由单一 LLM 法官根据任务特定的评分标准逐条评分，确保评估反映的是实质性工作要求，而非表面的语言流畅度。

在本次评估中，Claude Fable 5（采用自适应推理、最大努力模式，并在必要时回退至 Opus 4.8）以 14.2% 的全通过率位居榜首。全通过率指的是所有评分标准都通过的任务占比，不给予部分分数。GLM-5.2 (max) 和 Claude Opus 4.8（同样采用自适应推理和最大努力模式）均以 7.5% 的全通过率并列第二。此外，报告还提供了其他指标，如标准通过率、每任务成本、输出令牌数、任务耗时以及平均交互轮次等。

Artificial Analysis 强调所有评估均独立进行，并使用其 Stirrup 代理框架来执行任务。该基准的数据集和实现在 GitHub 上公开，供社区复现和验证。除了 Harvey LAB-AA，Artificial Analysis 还发布了多项其他基准测试，包括 AI 能力综合指数、开放性指数、代理知识工作基准等，为 AI 模型提供全方位的性能评估。这些基准涵盖了从数学、科学到编码和推理的多个领域，帮助用户更全面地了解不同模型的优劣。