本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

知覚・推論の協調ガバナンス:検証可能な解剖学的証拠で医療MLLMを接地する

記事の要約

MICCAI 2026で早期採択された本論文は、追加学習を必要としない「両側証拠注入」フレームワークを提案する。MedSAMによるROI事前情報を用いた活性化変調で視覚知覚を再調整し、解剖学的座標を離散意味トークンに変換してテキスト推論をアンカリングし、タスク認識型動的ルーターで介入を選択することで、医療MLLMの推論時ハルシネーションを大幅に削減する。

ソースarXiv Computer Vision著者: Rui Hao, Qiankun Li, Junyuan Mao, Linghao Meng, Dirui Xie, Dayu Tan, Zhigang Zeng
知覚・推論の協調ガバナンス:検証可能な解剖学的証拠で医療MLLMを接地する
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

医療用マルチモーダル大規模言語モデル(MLLM)は、臨床VQAや放射線レポート生成において大きな可能性を示している。しかし推論時に生じるハルシネーションは、信頼できる利用を妨げる要因となっている。モデルは流暢な結論を出力しても、それが画像上の証拠と矛盾することがある。既存の緩和策は、追加学習、外部検索や知識ベース、あるいは多段階の事後検証に依存するのが一般的であり、コストとパイプラインの複雑さを増すうえ、モデルやタスクをまたいだ汎化性能が低いことが多い。

この問題に対し、Rui Hao氏ら7名の著者は、追加学習を必要としない包括的な「証拠注入」フレームワークを提案している。両側への証拠注入によってハルシネーションを体系的に抑制する。実装では、MedSAMを用いて関心領域(ROI)の事前情報を取得し、ROI誘導の活性化変調によって視覚知覚の軌跡を再調整する。一方、解剖学的座標を離散的な意味トークンに写像し、検証可能な外部メモリとしてテキスト推論の軌跡をアンカリングする。さらに、タスク認識型の動的ルーターを導入し、タスクの意味に応じてモダリティ固有の介入を選択することで、知覚的接地と言語的流暢性のバランスを取る。

評価は2つのタスクと5つのデータセットで実施され、LLaVA-1.5-7B、LLaVA-Med-1.5-7B、Qwen3-VL-8B/32B、InternVL-3.5-8B/38Bが用いられた。制御されたアブレーションと可視化によりフレームワークの有効性がさらに検証され、複数の医療ベンチマークで一貫してベースラインを上回った。閉形式の精度は最大で約6%向上し、開形式のハルシネーションは約35%減少した。

本論文はMICCAI 2026に早期採択(Early Accept、上位9%)されており、コンピュータビジョンとパターン認識(cs.CV)に分類されている。2026年6月30日にarXivへ投稿され、識別子はarXiv:2607.00060、コードはGitHub(https://github.com/Henry991115/SPRG)で公開されている。この研究の意義は、追加学習や外部検索に頼らず、医療MLLMの出力を検証可能な解剖学的証拠に整合させる軽量な道筋を示した点にある。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 追加学習・外部検索・多段階の事後検証に依存せず、視覚知覚とテキスト推論の両側に証拠を注入するトレーニング不要の枠組みを提案。
  • MedSAMで取得したROI事前情報を活用し、ROI誘導の活性化変調で視覚知覚軌跡を再調整するとともに、解剖学的座標を離散意味トークンとして検証可能な外部メモリに写像。
  • タスク意味に基づいてモダリティ固有の介入を選択するタスク認識型動的ルーターを導入し、知覚的接地と言語的流暢性のバランスを取る。
  • 2タスク・5データセット、LLaVA-1.5-7B、LLaVA-Med-1.5-7B、Qwen3-VL-8B/32B、InternVL-3.5-8B/38Bで評価し、閉形式精度を最大約6%向上、開形式ハルシネーションを約35%削減。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。