評価設計が専門家と自動MeSHの差異に影響を与える：CohenベンチマークにおけるBag-of-WordsとBiomedBERTの比較研究

系統的レビューでは、関連研究を特定するために数千のアブストラクトをスクリーニングする必要があり、このプロセスを効率化するために分類器が使用される。分類器の入力には、医学件名標目表（MeSH）が追加されることが多く、MeSH用語は専門のインデクサーによって投稿後数週間から数ヶ月後に割り当てられるか、自動ツールによって即座に割り当てられる。しかし、これら2つのソースを分類器特徴として直接比較した研究はこれまでになく、評価設計が比較結果に影響を与えるかどうかも検討されていなかった。

このギャップを埋めるため、Samuel M. Okoe-Mensah氏は新しい研究（arXiv:2607.21685）において、Cohenら（2006）の薬物クラスベンチマーク（スタチン、オピオイド、ADHDの3トピック）を用いて、専門家割り当てと自動割り当てのMeSH用語を系統的に比較した。この研究では、Bag-of-Wordsロジスティック回帰分類器（7回の再実行）とBiomedBERT（5つのシード）を特徴づけ、スタチントピックの結果が代替評価設計によってどのように変化するかを調べた。

標準的な5分割全コーパス設計では、Bag-of-Words分類器における専門家対自動の差異はスタチンで+0.096 WSS@95%であった。しかし、コーパスサイズをより小さいトピック（n=803）に合わせると、差異は+0.033に減少し、95%ブートストラップ信頼区間はゼロを含んだ。完全なサイズで10分割交差検証を行うと、差異は+0.021にさらに縮小し、信頼区間はかろうじてゼロを除外した。BiomedBERTの場合、標準的な評価では差異は+0.020であり、Bag-of-Wordsの10分割結果のサンプリングノイズの範囲内であった。

パワー分析により、スタチンサイズの効果はオピオイドまたはADHDの分散では検出できなかったことが示され、これらの帰無結果は情報不足ではなく設計によるものであることが示唆された。さらに、表現の非対称性が存在する：専門家MeSH用語を追加すると、スタチン入力の15.1%がBiomedBERTの512トークン制限を超えるため、切り捨てがトランスフォーマーの差異の小ささに寄与している可能性があるが、この研究ではトレーニング量から分離できない。

トランスフォーマーまたは10分割Bag-of-Wordsを使用するスクリーニングパイプラインでは、テストされたトピックにおける差異は約0.02 WSS@95%であり、信頼区間は少なくとも一方の境界でゼロを跨ぐ。より広く言えば、特徴ソースに関するベンチマークの結論は、評価設計の合理的な変更によって大幅に変化する可能性があり、系統的レビュー自動化研究における評価方法の重要性を強調している。