大規模言語モデル（LLM）の研究では、異なるフォローアップ・プロンプトに対するモデルの応答を比較する手法が広く用いられている。たとえば、一方のプロンプトは中立的に再考を促し、もう一方は架空の映画が実在すると主張する。この差を会話圧力の効果として測定する。自動スコアラーは各応答に事実無根の主張が含まれるか否かをラベル付けし、研究者は通常、全体精度やF1スコアでスコアラーを検証する。しかし、NeurIPS 2026のTrustworthy AI for Goodワークショップに採択された本論文は、全体性能が高くてもプロンプト固有の誤りが隠れ、比較結果が過大・過小・あるいは方向が逆にさえなり得ると指摘する。
著者Ancil Craytonは、スコアラーの誤りがプロンプト比較をどのように変えるかを理論的に導出し、6モデル、180の架空エンティティ質問、6つのプロンプト条件で検証した。288応答のバランス監査では、全体F1は0.916だった。しかしプロンプト別に見ると、主要LLM評価者が不支持主張なしと判断した応答のうち2.6%〜33.3%をスコアラーが不支持と誤判定しており、そのプロンプト別推定値には大きな不確実性があった。
第2の監査では、スコアラーと2名の独立LLM評価者が同じ300のモデル・質問ケースを各プロンプト下で評価した。「確実性を断言する」プロンプトから「中立的に再考を促す」プロンプトへの見かけ上9.3ポイントの増加は、両評価者による再評価で2.3ポイントに低下した。主要評価者の区間はゼロを含み、増加を確立できなかった。他の2つのプロンプト比較は両評価者で方向を維持したが、プロンプト固有の補正の試みは不確実性が高く、明確な結論には至らなかった。
論文はまた、困難な応答が中心の監査サンプルでは、スコアラーの性能が研究全体を代表しない可能性があると警告する。著者の中心的な提言は、スコアラー全体ではなく、報告予定の具体的な差そのものを検証することだ。そのためには、マッチしたケースで両方のプロンプトを監査し、スコアラーと評価者の不確実性を最終結果に含める必要がある。この研究は、対話型LLM評価における比較の妥当性が、測定ツールの全体精度ではなく、特定の対比状況での性能に依存することを示している。