近日，一项名为Magis-Bench的新基准测试问世，旨在评估大语言模型（LLM）在治安法官级法律任务上的表现。该基准由巴西研究人员开发，聚焦于法律写作中“裁判”能力——权衡竞争主张、将法律原则应用于事实并作出合理裁决——这被认为是与法律辩护同等重要的司法核心技能。
Magis-Bench包含74道题目，源自2023年至2025年间巴西八场司法考试，包括多轮结构化的法律论述分析题以及要求撰写完整民事和刑事判决书的实践练习。研究团队评估了23个最先进的LLM，采用“LLM作为裁判”的方法，使用四个独立的前沿模型（如GPT-4、Claude等）对模型输出进行评分。结果显示，裁判之间高度一致（Kendall和谐系数W=0.984，两两Kendall τ≥0.897），验证了评估方法的可靠性。
在性能方面，Google的Gemini-3-Pro-Preview以平均6.97分（满分10分）位居榜首，其次是Gemini-3-Flash-Preview（6.67分）和Claude-4.5-Opus（6.46分）。然而，即使是最好的模型，得分也未超过满分的70%，这表明司法级别的法律推理和写作对当前的LLM来说仍然是一大挑战。
为了推动法律AI领域的进一步发展，研究人员已公开发布完整的基准测试、所有模型的输出以及评估代码。这一资源有望帮助开发者识别当前模型的不足，并引导未来研究专注于提升AI在法律领域的判断与写作能力。此外，该基准的独特之处在于它模拟了真实的司法考试场景，要求模型不仅理解法律条文，还要能够逻辑推理和撰写具有说服力的判决文书。研究团队计划未来扩展基准至更多司法管辖区和语言，以全面评估LLM在全球法律环境中的适用性。