医療用大規模視覚言語モデル（LVLM）は、医用画像の解釈や臨床レポートの生成において強力な性能を示す一方で、事実の一貫性の欠如、視覚的根拠付けの不十分さ、臨床的に意味のあるフィードバックとの不整合といった問題が残っています。現在のポストトレーニングアライメント手法、例えば直接選好最適化（DPO）とその変種は、医療分野において3つの重大な制約に直面しています。
第一に、シーケンスレベルの報酬信号が臨床的に重要なトークンを一般的なフィラー文と同一に扱うことです。これにより、例えば放射線レポート内の重要な病理学的発見が、重要でない単語と同じ重みで扱われ、モデルが重要な情報に鈍感になります。第二に、静的な教師ありファインチューニング参照を選好応答として使用することで、オフ・ポリシーの分布シフトが生じ、最適化が臨床的正確性よりもスタイル上のアーティファクトに向かうことです。その結果、モデルは流暢だが医学的に不正確な記述を生成する可能性があります。第三に、アライメント目的が明示的な視覚的根拠付けの制約を欠き、モデルが微妙だが診断上決定的な病理学的特徴、例えば初期病変の微細な変化に敏感でなくなることです。
これらの課題に対処するため、本研究では新規の細粒度オン・ポリシーアライメントフレームワークを提案します。このフレームワークは、双方向トークンワイズKL正則化器と視覚対比的根拠付け目的を中核とします。前者は、モデル出力と選好応答の間のトークンレベルの差異を制約し、臨床的に重要なトークンの微調整を可能にします。後者は、クリーン画像と病変で劣化した画像をペアリングし、十分な視覚的証拠なしに生成された応答をペナルティすることで、モデルが診断に関連する病理学的特徴に注意を向けるように強制します。
さらに、本フレームワークは、モデル自身が生成した出力を最小限に編集し、臨床的に誤った範囲のみを修正しながら元の言語スタイルを保持することで、オン・ポリシーで選好ペアを構築します。これにより、外部参照に依存することによる分布シフトを回避し、最適化を臨床的正確性に集中させます。
研究者らは、放射線レポート生成や病理画像記述など、複数の医用画像タスクと臨床テキスト生成ベンチマークで広範な実験を実施しました。既存手法と比較して、提案フレームワークは臨床的正確性の指標で顕著な改善を示し、出力の流暢性と自然さを維持しました。実験結果は本手法の有効性を十分に検証し、医療用LVLMの信頼性の高い展開のための新たな技術的経路を提供します。