大規模言語モデル（LLM）のバイアスや思考連鎖の忠実性を評価する際、反事実プロンプト（counterfactual prompting）は一般的な手法である。これは、入力の単一要素（例えば患者の性別）を変更し、出力の変化を観察する。しかし、新しい研究はこの評価に根本的な欠陥があると指摘する。反事実編集は、目的変数と同時に表面形式の変化も導入する複合的な処置であり、「処置変数無関連性」の原則に違反する。
研究チームは、医学QAデータセットMedQAでの実験により、患者の性別のみを変更した場合の予測反転率は14.9%であることを観測した。しかし、これは入力を単に言い換え（性別は変えずに）た場合の14.1%と統計的に区別できない。したがって、反転を性別感受性に帰属することは不当である。
この問題に対処するため、研究者らはフレームワークを提案する。対象介入（性別変更など）とパラフレーズベースラインの差を統計的検定で比較し、真の因果効果を分離する。このフレームワークをMedPerturbデータセットに適用した結果、120件の統計検定のうち有意だったのはわずか5件であり、以前報告された人口統計情報やスタイルへの感受性は、一般的なモデル感度を考慮するとほとんど消失した。
フレームワークが実際のバイアスを捕捉できるかを検証するため、職業経歴分類タスクに適用した。その結果、モデルには明確な方向性のある性別バイアス（特定の職業が男性に偏るなど）が存在し、効果が小さくても検出可能であることが示された。さらに、集計指標、サンプル単位の分布指標、回帰指標を比較したところ、サンプル単位の指標が集計指標よりもはるかに強力であり、回帰分析は効果の方向と大きさを独自に特徴づけることがわかった。
本研究は、反事実プロンプトを用いた因果帰属における適切なベースラインの重要性を強調しており、LLM評価のより厳密な方法論を提供する。