在大語言模型評估研究中，比較不同後續提示對模型行為的影響是一種常見設計。例如，一種提示可能中性要求模型重新考慮答案，另一種則堅稱某個虛構的電影真實存在。研究者通過自動評分器為每個回答標註是否包含無事實支持的聲明，並將兩種提示下的差異作為對話壓力的效應度量。然而，這篇被NeurIPS 2026可信AI研討會接收的論文指出，僅用一個總體準確率或F1分數驗證評分器，可能嚴重誤導比較結論。
論文作者Ancil Crayton從理論上推導了評分器錯誤如何改變提示比較的結果，並利用六個模型、180個虛構實體問題和六種提示條件進行了實驗。在包含288個回答的平衡審計中，評分器的總體F1達到0.916。表面上看，這是一個相當可靠的評分器。但分提示觀察時，評分器將2.6%至33.3%的回答標記為包含無支持聲明，而主要LLM評分員判定這些回答並不包含此類聲明。這意味着評分器的假陽性率隨提示不同而劇烈波動，且這些提示特定估計本身帶有較大的不確定性。
更關鍵的問題出現在第二次審計中。評分器和兩名獨立的LLM評分員對相同的300個模型-問題案例在每種提示下進行評估。結果，從“斷言確定性”提示到“中性要求重新考慮”提示，原本看似9.3個百分點的提升，在兩名評分員複核後均降至2.3個百分點。主要評分員的區間包含零，因此無法確立存在提升。另外兩個提示比較在兩名評分員下保持了方向一致，但嘗試進行的提示特定校正仍然不確定性過高，無法得出明確結論。
論文還警告，如果審計樣本主要由困難回答構成，評分器的表現可能無法代表完整研究中的表現，從而進一步扭曲比較結果。作者的核心建議是：研究者不應只驗證評分器的總體性能，而應驗證他們計劃報告的具體差異。具體做法包括在匹配案例上同時審計兩種提示，並將評分器和評分員的不確定性納入最終結果。這項研究提醒我們，在交互式LLM評估中，比較的有效性取決於測量工具在具體對比情境下的表現，而非其整體準確率。