在评估大型语言模型（LLM）的偏见或思维链忠实度时，反事实提示（counterfactual prompting）是一种常用方法：通过改动输入中的单一因素（如患者性别）并观察输出变化。然而，一项新研究指出，这种评估存在根本性缺陷——每次反事实编辑都是复合处理，既改变了目标变量，也引入了表面形式的变化，违反了“处理变量无关性”原则。
研究团队通过实验发现，在医学问答数据集MedQA上，单纯改变患者性别导致预测翻转率为14.9%，但这一数字与仅对输入进行释义（不变动性别）造成的14.1%翻转率在统计上无显著差异。这意味着，若无基线参照，将翻转归因于性别敏感性可能毫无根据。
为弥补这一不足，研究者提出了一个框架：将目标干预（如改性别）与释义基线进行统计比较，从而分离出真正的因果效应。他们应用该框架重新分析了MedPerturb数据集——此前有报告称模型对患者人口统计信息和风格线索敏感。结果显示，在120项统计检验中，只有5项达到显著性，之前报告的大部分效应在控制一般模型敏感性后消失。
为验证框架能否捕捉真实偏见，研究者将其用于职业传记分类任务。他们发现模型存在清晰的方向性性别偏见（如某些职业更倾向男性），即使效应很小也能被检测到。此外，研究比较了聚合指标、基于样本的分布指标和回归指标，发现基于样本的指标比聚合指标强大得多，而回归分析能独特地刻画效应的方向和大小。
该研究强调了在使用反事实提示进行因果归因时引入合适基线的重要性，为LLM评估提供了更严谨的方法论。