医療画像における視覚言語モデル（VLM）の評価には、臨床的に根拠があり、拡張性があり、評価の交絡因子を制御したベンチマークが必要である。既存の公開ベンチマークは規模が限られているか、手動アノテーションに依存しているか、あるいはVLMの事前学習コーパスに漏洩している可能性がある。この問題に対処するため、新たな論文が自動エージェント駆動パイプラインを提案した。このパイプラインは、ペアになった非公開の放射線レポートと3D腫瘍画像から直接、多肢選択式の視覚質問応答（VQA）データセットを生成する。本論文はarXivにプレプリントとして公開され、Bo Liu氏ら9名の著者による。2026年6月1日に提出された。
このパイプラインは2種類の補完的な問題を生成する。第一はRADSスタイルの問題で、臨床医が定義したレポーティングスキーマから決定論的に導出され、構造化レポート基準との整合性を確保する。第二は放射線レポート由来の問題で、大規模言語モデル（LLM）が放射線科医の所見に基づいて生成し、元のレポートと照合して検証する。この二本柱のアプローチにより、専門家定義のルールとLLMの生成能力の両方を活用しつつ、元レポートとの関連を維持している。
研究チームはこのパイプラインを4つの社内がんコホートに適用し、問題ごとの人手アノテーションなしで、インスタンス汚染を制御したベンチマークを生成した。インスタンス汚染制御とは、各評価インスタンスが特定の患者や画像に遡及できることを意味し、訓練データの漏洩リスクを低減する。データは非公開のレポートと画像に由来するため、公開の事前学習コーパスに含まれる可能性は低く、汚染の可能性をさらに減少させる。
6つのVLMをゼロショットで評価した結果、すべてのタスクで支配的なモデルは存在せず、各評価セルに大きな改善余地があることが示された。これは、現在のVLMが腫瘍学の3D医療画像VQAタスクにおいて依然として大きな改善の余地があることを示している。
さらに、盲検アブレーション実験により、視覚依存性がデータセットごとに大きく異なることが明らかになった。肝臓のレポート由来問題では、モデルが正しく答えるために画像情報が本当に必要である。しかし肺CTでは、画像なしでも問題はほぼ解決可能であり、首位のクローズドモデルは盲検時（画像なし）の精度が視覚ありの精度を上回った。この発見は驚くべきもので、非公開の臨床データを使用しても、視覚能力の評価が汚染されないことを保証できないことを示している。言い換えれば、モデルは画像内容を真に理解するのではなく、テキストの手がかりや記憶されたパターンに依存して回答している可能性がある。
このパイプラインはオープンエージェントスキルとして公開され、他の機関が社内で再展開できるようになっている。これは、研究者や臨床機関が自らの非公開データを使用して同様のベンチマークを生成し、プライバシーを保護しながら特定の臨床環境でVLMのパフォーマンスを評価できることを意味する。本研究の貢献は、拡張性があり、自動化され、臨床的に関連する医学VQAベンチマークを構築する方法を提供し、マルチモーダルモデルの評価における汚染制御と視覚依存性の検証の重要性を強調している点にある。