在評估大型語言模型（LLM）的偏見或思維鏈忠實度時，反事實提示（counterfactual prompting）是一種常用方法：通過改動輸入中的單一因素（如患者性別）並觀察輸出變化。然而，一項新研究指出，這種評估存在根本性缺陷——每次反事實編輯都是複合處理，既改變了目標變量，也引入了表面形式的變化，違反了“處理變量無關性”原則。
研究團隊通過實驗發現，在醫學問答數據集MedQA上，單純改變患者性別導致預測翻轉率為14.9%，但這一數字與僅對輸入進行釋義（不變動性別）造成的14.1%翻轉率在統計上無顯著差異。這意味着，若無基線參照，將翻轉歸因於性別敏感性可能毫無根據。
為彌補這一不足，研究者提出了一個框架：將目標干預（如改性別）與釋義基線進行統計比較，從而分離出真正的因果效應。他們應用該框架重新分析了MedPerturb數據集——此前有報告稱模型對患者人口統計信息和風格線索敏感。結果顯示，在120項統計檢驗中，只有5項達到顯著性，之前報告的大部分效應在控制一般模型敏感性後消失。
為驗證框架能否捕捉真實偏見，研究者將其用於職業傳記分類任務。他們發現模型存在清晰的方向性性別偏見（如某些職業更傾向男性），即使效應很小也能被檢測到。此外，研究比較了聚合指標、基於樣本的分佈指標和迴歸指標，發現基於樣本的指標比聚合指標強大得多，而回歸分析能獨特地刻畫效應的方向和大小。
該研究強調了在使用反事實提示進行因果歸因時引入合適基線的重要性，為LLM評估提供了更嚴謹的方法論。