医療分野では大規模言語モデル（LLM）の導入が進んでいるが、既存のベンチマークは、臨床現場でよく見られる敵対的または倫理的に複雑な条件下でのモデル動作を捉えきれていない。そこで研究チームは、11の現代的なLLMを対象に、9つの領域と150以上のサブカテゴリにわたる690の臨床的に根拠のあるシナリオを用いて評価するマルチドメインレッドチーミングフレームワークを開発した。シナリオには敵対的変換が組み込まれ、回答は7次元のルーブリックに基づき、LLM支援スコアリングと人間参加型検証を組み合わせて評価された。
結果として、モデルの性能には大きなばらつきがあり、平均スコアは0.791から0.984の範囲に分布した。重要な点として、いくつかの高性能システムが個別の安全上重要なシナリオで完全な失敗を引き起こした。これは、集計された精度が臨床的に意味のあるリスクを覆い隠す可能性があることを示している。最高性能のシステム（X-BAI、GPT-5、Claude Opus 4.1）は0.97を超えるスコアを低い分散で達成したが、領域間での性能差は顕著であった。
特に公平性関連のタスクでは、人口統計学的な変更を加えるとエラーが10～20%増幅することが確認された。また、人間のレビュアーは、自動評価では見逃されていた臨床的に関連する失敗を特定した。これらの知見は、平均精度だけではなく、性能の分散と最悪ケースの失敗が、より臨床的に意味のある信頼性指標となること、そして自動化と臨床医の監督を組み合わせたハイブリッド評価アプローチが信頼性の高い安全性評価に不可欠であることを示している。
本論文「医療用大規模言語モデルの安全性・堅牢性・公平性評価のためのマルチドメインレッドチーミングフレームワーク」は、Andrei Marian Feier氏ら9名の著者によって執筆され、John Snow Labs Incに所属している。2026年3月29日にオランダのデルフトで開催されるText2Story 2026ワークショップで発表され、CEUR Workshop Proceedingsに掲載される予定である。論文は10ページ、図4点を含み、arXiv（arXiv:2606.00027）で公開されている。