Maria Xenochristou氏ら13名の研究チームは、画像に基づく医療会話においてマルチモーダル大規模言語モデル（LLM）を評価するための新しいベンチマーク「IMCBench」を提案した。この研究成果はECML PKDD 2026に採択され、2026年6月26日にarXivで公開された。
既存の医療AIベンチマークには分断がある。多ターン対話をサポートしていても画像を含まないもの、逆にマルチモーダル入力を提供していても単一ターンのQAタスクに焦点を当てているものが多い。このギャップを埋めるため、IMCBenchは実際の公開臨床画像と合成患者プロファイルを組み合わせ、現実的な患者と臨床医の対話をシミュレートする多ターン会話ベンチマークを構築した。各会話は、安全性、正確性、診断における不確実性の適切な使用という3つの臨床次元で評価される。
研究チームは、Claude、GPT、Nova、Llamaの4つのモデルファミリーに属する8つの最先端マルチモーダルモデルをベンチマークした。スコアリングは1〜5の尺度で、LLM-as-Jury方式により行われ、専門臨床医の注釈でキャリブレーションされている。
結果として、Claude Opus 4.6が総合スコア3.61で最高となり、Claude Sonnet 4.6（3.30）、GPT-5.2（3.29）が続いた。しかし、すべての次元で優位に立つモデルは存在しない。特に、悪性疾患と希少疾患の両方で安全性が0.27ポイント低下することが明らかになった。
アブレーション研究では、視覚入力と電子健康記録（EHR）コンテキストの両方が安全なガイダンスに寄与していることが示された。それぞれを除去すると、平均安全性スコアが0.18および0.23低下する。また、より強力なモデルは視覚的特徴をより効果的に活用していることもわかった。
これらの知見は、正確な臨床記述が安全な患者ガイダンスを保証するものではないことを示している。モデルが画像所見を正しく認識できても、安全で責任あるアドバイスを提供できるとは限らない。したがって、医療AIの評価には多次元の枠組みが必要であり、診断精度だけに留まらないことが求められる。IMCBenchはこの方向性に重要な評価ツールを提供し、臨床展開前に安全性、不確実性、多ターン対話能力を総合的に考慮する必要性を強調している。