新しい研究により、マルチモーダル大規模言語モデル（MLLM）の臨床皮膚科における実世界性能が評価され、ベンチマーク結果が実際の臨床能力を大幅に過大評価していることが明らかになりました。この研究はRoy Jiang氏ら11名の著者によるもので、プレプリントがarXivに公開されています。
研究者らは、4つのオープンウェイトモデル（InternVL-Chat v1.5、LLaVA-Med v1.5、SkinGPT4、MedGemma-4B-Instruct）と商業モデルGPT-4.1を評価しました。3つの公開皮膚科データセットに加え、5,811症例、46,405枚の臨床画像からなる多施設病院皮膚科コンサルテーションコホートを後ろ向きに使用しました。モデルは、鑑別診断生成と重症度に基づくトリアージという2つの臨床タスクでテストされました。
公開ベンチマークでは、最良のオープンウェイトモデルのtop-3診断精度は26.55%、GPT-4.1は42.25%でした。しかし、実世界のコンサルテーション症例において画像のみを使用した場合、オープンウェイトモデルのtop-3精度は1.50%～13.35%に急落し、GPT-4.1も24.65%に低下しました。患者の病歴などの臨床コンテキストを追加すると、全モデルの性能が向上し、オープンウェイトモデルの最高精度は28.75%、GPT-4.1は38.93%に達しました。ただし、モデルは不完全または誤った臨床コンテキストに非常に敏感で、わずかな誤りでも診断結果が大きく逸脱することがわかりました。
重症度トリアージに関しては、モデルの感度は60%を超え、スクリーニングツールとしての可能性を示唆しましたが、研究者は臨床導入には信頼性が不十分であると結論付けています。この研究は、実世界条件下でのAIモデル評価の重要性を強調し、現在のMLLMの皮膚科における実際の能力はベンチマークが示す水準をはるかに下回っていることを示しています。
この結果は、医療分野におけるAI適用の展望に重要な示唆を与えます。MLLMは標準化されたベンチマークではある程度の性能を示すものの、複雑な臨床環境に直面するとその性能は大幅に低下します。これは、AI技術を臨床応用に移行する前に、厳格かつ現実に即した検証が必要であることを示しています。研究者らは、今後の研究ではモデルのロバスト性、解釈可能性、および臨床コンテキストのより良い統合方法に焦点を当て、実際の医療意思決定における信頼性を高めることを提唱しています。