最新の研究論文が、大規模言語モデル（LLM）の検索拡張生成（RAG）における帰属評価指標を体系的に監査した。Tianyu Dingらが執筆し、arXivに提出された論文「Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs」は、自動指標がしばしば互換可能として扱われる実践に疑問を投げかける。
研究では、語彙、埋め込み、BERTScoreベースライン、および含意/グラウンディング訓練モデル（クリーン版、FEVER NLI、チェッカーMiniCheck）を含む8つの自動スコアラーを、3つの評価構成（出典/トピック性、生成回答帰属、事実確認含意）で監査し、各スコアラーが複数データセット構成のすべてのデータセットで最良スコアラーの95%信頼区間内に収まるかどうかを検証した。
最も広範な人手ラベル付きデータセットをカバーする生成回答帰属構成（AttributionBenchの4つのソースデータセット、n=1,610、独立したHAGRID、n=2,150）では、どのスコアラーも条件を満たさなかった。データセット間で指標ランキングは逆転し（AttributedQA vs. LFQAのケンドールタウ係数-0.64、p=0.031）、短いクレームのAttributedQAで最良だった既製のNLIスコアラー（AUROC 0.90）は、長文のLFQAでAUROC 0.53（チャンスレベル）に崩壊した。一方、BERTScoreはLFQAで勝利（AUROC 0.91）。この逆転は長さやトランケーションのアーティファクトではないことが確認された。
この不安定性は具体的な決定コストをもたらす。単純な「平均最良」ルールで評価器を選択すると、1データセットを除外した検証で失敗する（平均ホールドアウト後悔値0.172 AUROC、1つのスコアラーに固定するよりも悪い）。そのため、指標選択は対象データセットで検証する必要があり、他のデータセットから学習すべきではない。
プロンプトベースのLLM判定者は、自動スコアラーが被るチャンスレベルへの崩壊を回避する（LFQAでの崩壊なし）が、常に最良とは限らず、約100倍のコストがかかり、非決定的である。これは検証負担を除去するのではなく、単に移行させるに過ぎない。
本研究は、RAG評価における指標選択の重要性を強調し、将来の研究がデータセット間で転移可能な評価手法に焦点を当てることを促している。