提示框架扭曲基於計數的LLM錯誤檢測評估：來自數字錨定的證據
該論文揭示了基於計數的F1指標在評估LLM錯誤檢測時可能因提示框架而產生顯著虛高（稱為F1膨脹），並引入ErrorBench壓力測試協議。實驗表明，錨定提示可導致高達0.79的F1膨脹，建議評估應避免預置錯誤計數並報告跨度感知指標。
一項新的研究揭示了基於計數的F1指標在評估大型語言模型（LLM）錯誤檢測能力時存在的嚴重缺陷：提示框架（prompt framing）可以人為地抬高這一指標，而實際錯誤定位能力並未同步提升。該現象被研究者稱為“F1膨脹”（F1 Inflation）。
來自Dekun Yang的論文《Prompt Framing Distorts Count-Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring》提出了一個名為ErrorBench的受控壓力測試協議，專門用於量化提示誘導的計數失真。研究團隊在143個CoNLL-2014語料段落的基礎上，收集了六種當代LLM在五種不同提示條件下生成的4,290條響應。
實驗結果顯示，在CoNLL-2014 M2風格評分下，錨定提示（anchored prompts）產生了高達0.79點的F1膨脹；在嚴格匹配條件下，這一數值甚至達到0.96。為了驗證結果的穩健性，研究者使用官方ERRANT 3.0.0流水線和多參考評分對100個段落進行了重複實驗，結果復現了相同的模式：平均而言，從盲提示（blind prompt）切換到錨定提示後，計數F1提高了+0.21，而多參考ERRANT F0.5僅提升了+0.04。這表明計數F1的提升遠遠超過了實際定位質量的改善。
有趣的是，不同模型對提示的敏感度存在差異。高度遵循指令的GPT和Claude系統傾向於生成更大的計數響應，而Gemini系列模型在該壓力測試協議下表現出較小的計數響應。這一差異可能反映了模型架構和訓練策略的不同。
該研究的核心啓示在於，LLM校對和文檔審閲評估應該避免使用預置錯誤計數（pre-populated error counts），並且應當同時報告跨度感知指標（span-aware metrics）與基於計數的指標。這一發現對於當前廣泛使用的基於F1的LLM錯誤檢測基準測試具有直接的警示意義，提示研究者和工程師在解讀相關指標時需要格外謹慎。