MedRealMM: 中国のオンライン医療相談のための実世界マルチモーダルベンチマーク
MedRealMMは、中国全土のインターネット病院から収集した匿名化された医師と患者の対話に基づく大規模マルチモーダルベンチマークです。5,620の症例を64診療科にわたって含み、マルチモーダル臨床チャレンジポイント（MCCP）抽出フレームワークを使用して標準化された次応答生成タスクを作成します。19のLLMを評価した結果、画像情報が信頼できる臨床パフォーマンスに不可欠であり、現在の最先端モデルは医師と同等の肯定的基準を満たす一方で、より多くの否定的基準を引き起こし、安全性に敏感なエラー回避が主要なボトルネックであることが示されました。
大規模言語モデル（LLM）はオンライン医療相談への導入が進んでいるが、既存のベンチマークは実際の臨床実践と乖離している。多くは合成会話や患者シミュレーターに依存し、患者がアップロードした医用画像を無視したり、複数選択や語彙重複指標を用いてオープンエンドの臨床応答を評価するため、臨床品質を適切に反映できない。そこで研究者らは、中国全国のインターネット病院から収集した匿名化された医師患者インタラクションに基づく大規模マルチモーダルベンチマーク「MedRealMM」を提案する。
MedRealMMは、マルチモーダル臨床チャレンジポイント（MCCP）抽出フレームワークを採用し、実際の相談経路から臨床的に要求の高い瞬間を特定し、各瞬間を標準化された次応答生成タスクに変換する。その際、前後のテキストと画像コンテキストを保持する。各インスタンスには、医師が精査した症例固有の評価基準が付与され、臨床的に望ましい行動を報奨し、安全でない、根拠のない、または矛盾した応答を罰する。現在のリリースでは、64の診療科をカバーする5,620の実世界マルチモーダル症例が含まれている。
研究チームは、テキストのみおよびマルチモーダルシステムを含む19の汎用および医療特化型LLMを評価した。評価では、正確性、完全性、説明可能性、共感などの肯定的臨床基準と、安全性欠如、根拠不足、自己矛盾などの否定的基準を用いた。結果は、画像情報が信頼できる臨床パフォーマンスに不可欠であり、画像なしでは診断精度が平均15%以上低下することを示した。現在の最先端モデルはオンライン医師の応答に及ばない。一部の最先端モデル（GPT-4o、Med-PaLM 2など）は医師と同等かそれ以上の肯定的な臨床基準を満たすものの、より多くの否定的基準を引き起こし、安全性に敏感なエラー回避が依然として中心的なボトルネックであることを示唆している。例えば、モデルは誤った薬剤推奨や重要な陰性兆候の見落としをすることがある。
MedRealMMは、実世界のオンライン医療相談におけるマルチモーダル医学推論を評価するための現実的で再現可能なベンチマークを提供し、データセットはHugging Faceで公開される。このベンチマークは、医療分野におけるLLMの安全な展開を促進し、研究者がモデルの安全性と信頼性に焦点を当てることを促す。将来のバージョンでは、より多くの診療科や希少症例をカバーし、マルチターン対話能力の評価を導入する予定である。