在大语言模型评估研究中，比较不同后续提示对模型行为的影响是一种常见设计。例如，一种提示可能中性要求模型重新考虑答案，另一种则坚称某个虚构的电影真实存在。研究者通过自动评分器为每个回答标注是否包含无事实支持的声明，并将两种提示下的差异作为对话压力的效应度量。然而，这篇被NeurIPS 2026可信AI研讨会接收的论文指出，仅用一个总体准确率或F1分数验证评分器，可能严重误导比较结论。
论文作者Ancil Crayton从理论上推导了评分器错误如何改变提示比较的结果，并利用六个模型、180个虚构实体问题和六种提示条件进行了实验。在包含288个回答的平衡审计中，评分器的总体F1达到0.916。表面上看，这是一个相当可靠的评分器。但分提示观察时，评分器将2.6%至33.3%的回答标记为包含无支持声明，而主要LLM评分员判定这些回答并不包含此类声明。这意味着评分器的假阳性率随提示不同而剧烈波动，且这些提示特定估计本身带有较大的不确定性。
更关键的问题出现在第二次审计中。评分器和两名独立的LLM评分员对相同的300个模型-问题案例在每种提示下进行评估。结果，从“断言确定性”提示到“中性要求重新考虑”提示，原本看似9.3个百分点的提升，在两名评分员复核后均降至2.3个百分点。主要评分员的区间包含零，因此无法确立存在提升。另外两个提示比较在两名评分员下保持了方向一致，但尝试进行的提示特定校正仍然不确定性过高，无法得出明确结论。
论文还警告，如果审计样本主要由困难回答构成，评分器的表现可能无法代表完整研究中的表现，从而进一步扭曲比较结果。作者的核心建议是：研究者不应只验证评分器的总体性能，而应验证他们计划报告的具体差异。具体做法包括在匹配案例上同时审计两种提示，并将评分器和评分员的不确定性纳入最终结果。这项研究提醒我们，在交互式LLM评估中，比较的有效性取决于测量工具在具体对比情境下的表现，而非其整体准确率。