因果推論におけるモデル選択の重要な役割：InferBERTフレームワーク内の分類モデルの薬剤監視比較分析

薬剤監視の分野では、因果的な有害薬物事象（ADE）と偽の相関を区別することが中心的な課題となっています。多くの統計手法は関連性を検出できますが、因果関係を確認することはできません。この問題に対処するため、研究者らはInferBERTフレームワークを開発しました。このフレームワークはTransformerモデルとDo-calculusを統合し、テキストから因果関係を推論することを目的としています。しかし、InferBERTの性能は基礎となる分類モデルに大きく依存しており、モデルが異なれば結果も大きく異なる可能性があります。モデル選択の影響を調査するため、本研究では4つの代表的なモデルを体系的に評価しました：勾配ブースティング木に基づくXGBoost（ベースライン）、元のInferBERTで使用されたALBERT（軽量Transformer）、生物医学ドメインで事前学習されたBioBERT、および医療用大規模言語モデルMed-LLaMAです。

研究チームは、鎮痛薬誘発性急性肝不全（AILF）とトラマドール関連死亡（TRAM）という2つの挑戦的なベンチマークデータセットで実験を行いました。これらのデータセットは異なる種類の薬物安全性事象をカバーしており、モデルの汎化能力を包括的にテストできます。実験では5分割交差検証を20回繰り返し、結果の安定性を確保しました。評価指標には、精度、期待キャリブレーション誤差（ECE、モデルの信頼度と実際の正解率の一致を測定）、および因果用語と従来の薬剤監視シグナル（PRR、ROR、EBGM）とのJaccard一致度が含まれます。

結果は注目に値します：BioBERTは両方のデータセットで最高精度を達成し、他のモデルを大幅に上回りました。対照的に、Med-LLaMAは巨大なパラメータ数とパラメータ効率的な微調整を採用しているにもかかわらず、最も悪い成績を示し、単純なベースラインのXGBoostにも及びませんでした。この発見は、ドメイン特化型事前学習がモデル規模よりもはるかに重要であることを強く示唆しています。さらに、事後キャリブレーション（等張回帰による）はキャリブレーション誤差を改善しましたが、精度と因果発見への影響は一貫しておらず、場合によっては悪影響を及ぼしました。BioBERTは精度が高いだけでなく、特定された因果用語と既知の薬剤監視シグナルとの一致度も最も高く、その信頼性をさらに裏付けています。

この研究の結論は、計算薬剤監視の分野に重要な指針を与えます：単にモデル規模を拡大することは因果推論能力を向上させる効果的な方法ではありません。むしろ、管理可能でドメイン認識型のモデル（例えばBioBERT）に投資することで、より低い計算コストで優れた性能を得ることができます。将来の研究は、パラメータ数を盲目的に増やすのではなく、ドメイン特化型事前学習戦略の最適化に焦点を当てるべきです。