一篇最新研究论文对大型语言模型（LLM）检索增强生成（RAG）中的归因评估指标进行了系统性审计。该论文由Tianyu Ding等人撰写，提交至arXiv，题为“Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs”（LLM归因指标能否迁移？跨数据集与构造审计检索增强生成评估）。
在实际应用中，自动归因指标常被视为可互换使用。然而，该研究通过审计八种自动评分器——包括词汇、嵌入和BERTScore基线，以及基于蕴含/接地训练的模型（如干净版和FEVER NLI、检查器MiniCheck）——在三种评估构造（出处/主题性、生成答案归因和事实验证蕴含）上的表现，提出了质疑。研究核心问题是：是否有评分器能实现迁移，即在多数据集构造的每个数据集上均保持最佳评分器的95%置信区间内？
结果令人震惊：在覆盖最广的多数据集人工标注构造——生成答案归因（AttributionBench的四个源数据集，n=1,610，加上独立数据集HAGRID，n=2,150）中，没有评分器能做到这一点。数据集之间的指标排名甚至出现反转：AttributedQA与LFQA之间的Kendall tau系数为-0.64（p=0.031）。一个现成的NLI评分器在短文本的AttributedQA上表现最佳（AUROC 0.90），但在长文本的LFQA上崩溃至AUROC 0.53（随机水平），而BERTScore则在LFQA上获胜（AUROC 0.91）。研究确认，这种反转并非长度或截断伪影所致。
这种不稳定性带来了具体的决策成本：简单采用“平均最佳”规则选择评估器，在留一数据集验证中失败（平均留出遗憾值0.172 AUROC，甚至比固定使用一个评分器更差）。因此，指标选择必须在目标数据集上验证，而非从其他数据集中学习。
基于提示的LLM裁判避免了自动评分器可能遭遇的随机性能崩溃（在LFQA上未出现崩溃），但它并非始终最佳，且成本高出约100倍，同时非确定性——这仅仅是将验证负担转移，而非消除。
该研究强调了在RAG评估中谨慎选择指标的重要性，并呼吁未来工作关注跨数据集可迁移的评估方法。