大規模視覚言語モデル（LVLM）は医療分野で多大な可能性を秘めていますが、高品質な医療マルチモーダルデータの不足、安全性が重要な環境でのロバスト性の懸念、そして信頼性評価を制限する狭く汚染の可能性のある評価ベンチマークなどの課題に直面しています。これらの問題に対処するため、本研究ではAloe-Visionを紹介します。これは、医療用LVLMを完全にオープンで再現可能なシステムとする取り組みであり、全てのコンポーネントを検査、評価、改善できるようにします。
Aloe-Visionの中核はAloe-Vision-Dataです。これは、医療画像や臨床テキストなどの医療マルチモーダルデータと、一般ドメインのマルチモーダルおよびテキストのみのリソースを統合した、大規模で品質フィルタリング済みのデータ混合です。このデータセットはモデルの微調整に直接利用できるよう設計されており、従来のデータ収集におけるノイズやバイアスの問題を軽減します。このデータセットに基づき、著者らは7Bおよび72Bの2つのスケールでAloe-Vision医療LVLMファミリーを訓練し、完全な重み、訓練レシピ、データ、そして詳細な再現ガイドをすべて公開しました。
包括的なベンチマークを通じて、高品質な訓練データ混合がバランスの取れたLVLMを生み出すことが実証されました。これらのモデルは、一般能力を損なうことなくベースラインモデルよりも大幅な向上を示し、最先端の代替モデルと競合する性能を達成しました。例えば、医療画像の質問応答やレポート生成タスクで優れた結果を示しました。
信頼性評価を支援するため、CareQA-Visionベンチマークも導入されました。これはスペインのMIRおよびEIR研修医試験に由来し、医学および看護専門家向けの新しい視覚問題を提供します。試験内容は定期的に更新され非公開であるため、CareQA-Visionはベンチマーク汚染のリスクを大幅に低減し、モデルの真の能力を評価するためのクリーンなテスト環境を提供します。
しかし、研究は現在のLVLMの重要な弱点も明らかにしました。それは、敵対的および誤解を招く入力に対して依然として脆弱であるということです。高品質な訓練を受けた後でも、巧妙に設計された敵対的サンプルに対してモデルの出力が大きく歪む可能性があります。これは、臨床現場にLVLMを展開する前に解決すべき信頼性の課題を浮き彫りにしています。
Aloe-Visionのオープンソース性は、コミュニティに貴重なリソースを提供し、研究者がモデルの動作を詳細に分析し、結果を再現し、改善を推進することを可能にします。この研究は、医療AI分野におけるオープンサイエンスと信頼できるシステムへの重要な一歩を示していますが、同時に、性能追求とともにロバスト性と安全性の研究が不可欠であることを警告しています。