近日，一項名為Magis-Bench的新基準測試問世，旨在評估大語言模型（LLM）在治安法官級法律任務上的表現。該基準由巴西研究人員開發，聚焦於法律寫作中“裁判”能力——權衡競爭主張、將法律原則應用於事實並作出合理裁決——這被認為是與法律辯護同等重要的司法核心技能。
Magis-Bench包含74道題目，源自2023年至2025年間巴西八場司法考試，包括多輪結構化的法律論述分析題以及要求撰寫完整民事和刑事判決書的實踐練習。研究團隊評估了23個最先進的LLM，採用“LLM作為裁判”的方法，使用四個獨立的前沿模型（如GPT-4、Claude等）對模型輸出進行評分。結果顯示，裁判之間高度一致（Kendall和諧係數W=0.984，兩兩Kendall τ≥0.897），驗證了評估方法的可靠性。
在效能方面，Google的Gemini-3-Pro-Preview以平均6.97分（滿分10分）位居榜首，其次是Gemini-3-Flash-Preview（6.67分）和Claude-4.5-Opus（6.46分）。然而，即使是最好的模型，得分也未超過滿分的70%，這表明司法級別的法律推理和寫作對當前的LLM來說仍然是一大挑戰。
為了推動法律AI領域的進一步發展，研究人員已公開發布完整的基準測試、所有模型的輸出以及評估程式碼。這一資源有望幫助開發者識別當前模型的不足，並引導未來研究專注於提升AI在法律領域的判斷與寫作能力。此外，該基準的獨特之處在於它模擬了真實的司法考試場景，要求模型不僅理解法律條文，還要能夠邏輯推理和撰寫具有說服力的判決文書。研究團隊計劃未來擴充套件基準至更多司法管轄區和語言，以全面評估LLM在全球法律環境中的適用性。