CanLegalRAGBench 是一项专为加拿大判例法设计的检索增强生成（RAG）评测基准，由 Ethan Zhao 与另外四位作者共同完成，并于 2026 年 5 月 28 日提交至 arXiv，归类为计算与语言（cs.CL）方向，论文编号为 arXiv:2605.30497v1。该研究针对当前法律问答评测中的两个突出缺口：其一，现有基准大多依赖合成查询而非真实法律场景；其二，加拿大法律在既有评测中代表性不足。
研究背景方面，基于 RAG 的法律助手近年来日益流行，但大语言模型（LLM）的幻觉问题仍是关键隐患，可能损害司法公正。为评估相关进展而开发的基准虽然不少，却普遍存在上述局限。为此，作者构建了 CanLegalRAGBench，其问题源自现实法律场景，答案则由专家依据判例法进行标注，从而更贴近实际使用需求。
评测结果显示，检索性能对设计选择非常敏感，不同配置会带来明显差异；同时，开源嵌入模型的表现与闭源模型相比具有竞争力，这意味着在法律 RAG 场景中并不必然需要依赖昂贵的闭源方案。然而，研究也揭示了自动评估方法的局限：当系统检索到其他同样相关的文档时，自动指标会将其判为错误并施加惩罚，从而可能低估系统实际能力。
在答案生成方面，研究发现模型输出经常偏离专家标注的标准答案，表现为幻觉、内容过度冗长或与问题无关，其中 8% 至 29% 的陈述无法获得所检索文档的支持。这一比例区间说明不同系统或配置之间的幻觉程度存在较大差异，但即便在较好情况下，仍有相当一部分论断缺乏依据，这对法律应用而言风险不容忽视。
作者希望该基准能够推动法律 RAG 系统持续改进，帮助研究者更有针对性地解决检索评估偏差与生成可靠性等核心问题。论文的提交历史显示，Vered Shwartz 于 2026 年 5 月 28 日 19:24:23 UTC 提交了第一版（v1），文件大小为 2,761 KB；DOI 为 https://doi.org/10.48550/arXiv.2605.30497，由 DataCite 颁发（注册尚待完成）。论文全文以 PDF 与 TeX 源码形式开放获取。