LLM支援のシステマティックレビュー選別のための補助的な不確実性シグナル:Cohenの8つの薬剤クラスレビューにわたるベンチマーク
本研究は、Cohen(2006)ベンチマークの8つの薬剤クラスデータセットを用い、LLMによるタイトル・抄録スクリーニングに補助的なBERT+GCN分類器の不確実性シグナルを組み込む5つのプロンプト投与方法を評価した。フルコンテキスト投与はF1とWSS@95を有意に改善したがトークンコストが1.28倍になった。MAYBEのみのルーティングはコスト1.05倍で平均再現率0.92と最も高く、パレート最適であった。2パス設計は22.2%±8.8%のレコードをエスカレーションしたが、決定を覆すことは一度もなかった。