法律分野におけるAIアシスタントの普及が進む一方で、大規模言語モデル（LLM）の幻覚（ハルシネーション）は依然として重大な問題であり、司法の公正さを損なう可能性がある。既存の評価ベンチマークの多くは合成クエリに依存しており、実際の法的シナリオを反映していない。さらに、カナダ法は既存の評価において十分に代表されていない。このギャップを埋めるため、研究者らはCanLegalRAGBenchを導入した。これは、実際のクエリと、判例法に基づいて専門家が注釈を付けた回答を用いたカナダの法律QAベンチマークである。
このベンチマークの構築では、現実性が重視されている。クエリは実際の法的ニーズから得られ、回答は専門家によって注釈が付けられ、判例法に厳密に基づいている。研究チームはこのベンチマークを用いて、検索拡張生成（RAG）システムを体系的に評価した。その結果、検索性能は設計選択に非常に敏感であり、埋め込みモデルや検索戦略の違いが最終的な性能に影響を与えることが示された。特筆すべきは、オープンソースの埋め込みモデルが検索タスクにおいてクローズドソースモデルと同等の競争力を持つことであり、リソースが限られた開発者にとって選択肢が広がる。
しかし、評価は自動評価手法の限界も明らかにした。システムが他の関連文書を検索した場合、自動評価は単一の金標準文書とのみ比較するため、システムを不当に罰してしまう。この硬直した評価方法は、システムの実際の能力を過小評価する恐れがある。
回答生成に関しては、生成された回答が金標準回答から逸脱することが頻繁にあることが分かった。主な問題は三つある。第一に幻覚であり、存在しない情報を捏造する。第二に、内容が冗長で詳細すぎる。第三に、無関係な内容を含むことである。さらに深刻なのは、生成された回答の主張のうち8%から29%が検索文書によって裏付けられていない点である。この範囲はシステムや設定によって異なるが、いずれにせよ、法律アプリケーションにとって裏付けのない主張の割合が高いことは重大なリスクである。
著者らは、CanLegalRAGBenchが法律RAGシステムの限界に対する継続的な改善を促進することを期待している。このベンチマークは2026年5月28日にarXivに投稿され、番号は2605.30497、計算と言語（cs.CL）分野に属する。論文はEthan Zhaoら5名の著者によって執筆され、Vered Shwartzが投稿者である。