GLM-5.2 (max) 在 Harvey LAB-AA 基準測試中與 Claude Opus 4.8 持平

Artificial Analysis 最近釋出了 Harvey LAB-AA（法律代理基準測試）的最新結果。該基準由法律科技公司 Harvey 開發，旨在衡量 AI 代理在實際法律工作中的能力，而非回答孤立的法律問題。測試資料集包含 120 個私有任務，覆蓋 24 個法律實踐領域，如併購、訴訟、合同審查等。每個任務模擬律師助理的指令，代理需要在沙盒環境中讀取案件文件，並生成法律交付物，例如備忘錄、披露日程和證詞摘要。這些交付物由單一 LLM 法官根據任務特定的評分標準逐條評分，確保評估反映的是實質性工作要求，而非表面的語言流暢度。

在本次評估中，Claude Fable 5（採用自適應推理、最大努力模式，並在必要時回退至 Opus 4.8）以 14.2% 的全透過率位居榜首。全透過率指的是所有評分標準都透過的任務佔比，不給予部分分數。GLM-5.2 (max) 和 Claude Opus 4.8（同樣採用自適應推理和最大努力模式）均以 7.5% 的全透過率並列第二。此外，報告還提供了其他指標，如標準透過率、每任務成本、輸出令牌數、任務耗時以及平均互動輪次等。

Artificial Analysis 強調所有評估均獨立進行，並使用其 Stirrup 代理框架來執行任務。該基準的資料集和實現在 GitHub 上公開，供社群復現和驗證。除了 Harvey LAB-AA，Artificial Analysis 還發布了多項其他基準測試，包括 AI 能力綜合指數、開放性指數、代理知識工作基準等，為 AI 模型提供全方位的效能評估。這些基準涵蓋了從數學、科學到編碼和推理的多個領域，幫助使用者更全面地瞭解不同模型的優劣。