提示框架扭曲基于计数的LLM错误检测评估：来自数字锚定的证据
该论文揭示了基于计数的F1指标在评估LLM错误检测时可能因提示框架而产生显著虚高（称为F1膨胀），并引入ErrorBench压力测试协议。实验表明，锚定提示可导致高达0.79的F1膨胀，建议评估应避免预置错误计数并报告跨度感知指标。
一项新的研究揭示了基于计数的F1指标在评估大型语言模型（LLM）错误检测能力时存在的严重缺陷：提示框架（prompt framing）可以人为地抬高这一指标，而实际错误定位能力并未同步提升。该现象被研究者称为“F1膨胀”（F1 Inflation）。
来自Dekun Yang的论文《Prompt Framing Distorts Count-Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring》提出了一个名为ErrorBench的受控压力测试协议，专门用于量化提示诱导的计数失真。研究团队在143个CoNLL-2014语料段落的基础上，收集了六种当代LLM在五种不同提示条件下生成的4,290条响应。
实验结果显示，在CoNLL-2014 M2风格评分下，锚定提示（anchored prompts）产生了高达0.79点的F1膨胀；在严格匹配条件下，这一数值甚至达到0.96。为了验证结果的稳健性，研究者使用官方ERRANT 3.0.0流水线和多参考评分对100个段落进行了重复实验，结果复现了相同的模式：平均而言，从盲提示（blind prompt）切换到锚定提示后，计数F1提高了+0.21，而多参考ERRANT F0.5仅提升了+0.04。这表明计数F1的提升远远超过了实际定位质量的改善。
有趣的是，不同模型对提示的敏感度存在差异。高度遵循指令的GPT和Claude系统倾向于生成更大的计数响应，而Gemini系列模型在该压力测试协议下表现出较小的计数响应。这一差异可能反映了模型架构和训练策略的不同。
该研究的核心启示在于，LLM校对和文档审阅评估应该避免使用预置错误计数（pre-populated error counts），并且应当同时报告跨度感知指标（span-aware metrics）与基于计数的指标。这一发现对于当前广泛使用的基于F1的LLM错误检测基准测试具有直接的警示意义，提示研究者和工程师在解读相关指标时需要格外谨慎。