新しいベンチマーク「Magis-Bench」が登場し、大規模言語モデルの治安判事レベルの法的ライティング能力を評価します。ブラジルの研究者らが開発したこのベンチマークは、法廷での主張を評価し、事実に法理を適用し、合理的な判決を下す「裁判官」としての能力に焦点を当てています。これは、法律システムにおいて弁護と同様に基本的なスキルです。
Magis-Benchは、2023年から2025年にかけて実施された8回のブラジル司法試験から抽出された74問で構成されています。問題には、複数ターンにわたる法的分析の記述問題と、民事および刑事の完全な判決文を作成する実践演習が含まれています。研究チームは、23の最先端LLMを評価し、4つの独立したフロンティアモデル（GPT-4、Claudeなど）を審査員として使用する「LLM-as-a-judge」手法を採用しました。審査員間の合意は非常に高く（KendallのW係数=0.984、ペアごとのKendall τ≥0.897）、評価手法の信頼性が確認されました。
性能面では、GoogleのGemini-3-Pro-Previewが平均6.97点（10点満点）でトップとなり、Gemini-3-Flash-Preview（6.67点）、Claude-4.5-Opus（6.46点）が続きました。しかし、最高のモデルでも満点の70%に達しておらず、司法レベルの法的推論とライティングは現在のLLMにとって依然として困難な課題であることが示されました。
研究チームは、ベンチマーク、モデル出力、評価コードを公開し、法務AIのさらなる研究を促進しています。このリソースは、現在のモデルの限界を特定し、法律分野におけるAIの判断力と文章作成能力の向上に役立つと期待されています。さらに、Magis-Benchは実際の司法試験のシナリオを模倣しており、モデルが法律条文を理解するだけでなく、論理的推論と説得力のある判決文の作成能力を要求します。研究チームは、今後このベンチマークをより多くの司法管轄区や言語に拡張し、グローバルな法環境におけるLLMの適用可能性を包括的に評価する計画です。