手術動画質問応答（VideoQA）は、意味的、空間的、時間的な多次元にわたる多段階推論を必要とする。既存手法は動画を離散トークン表現に圧縮し、視覚知覚と推論を結合している。このアプローチは連続的な時空間関係を断片化し、多段階推論能力を制限することが示されている。
この問題に対処するため、Yiqing Shenらによる研究チームは強化学習（RL）に基づく新しいフレームワークを提案した。この手法の核心は、大規模言語モデル（LLM）が生の動画ピクセルや圧縮トークンを直接処理するのではなく、手術基盤モデルから構築されたデジタルツイン表現上で動作する点にある。これにより知覚と推論が分離され、モデルはより高次の推論タスクに集中できる。
手術動画の情報をより包括的に捉えるため、研究者らは階層表現メカニズムも導入した。このメカニズムはフレームレベル、時間窓レベル、手術手順全体のレベルでそれぞれ表現を構築し、各レベルに確率的な不確実性推定を付与する。この設計により、モデルは異なる時間スケールでの事象を理解し、自身の判断の信頼度を定量化できる。
訓練プロセスでは、チームは新しい報酬関数を設計した。この報酬は出力形式の適合性をチェックするだけでなく、臨床的妥当性評価を通じて回答の医学的正確性を検証し、不確実性を考慮したキャリブレーションでモデルを最適化する。この複合的な報酬メカニズムは、形式要件を満たしつつ臨床的に信頼できる回答を生成するようモデルを導くことを目的としている。
手法の有効性を検証するため、研究者らはREAL-Colon-Reasonという結腸鏡ベンチマークデータセットを構築した。これは3つの複雑度レベルにわたる2000の質問応答ペアを含む。実験結果は、このフレームワークがREAL-Colon-Reasonおよび既存の2つの手術動画QAベンチマーク（REAL-Colon-VQAとEndoVis18-VQA）で最先端性能を達成したことを示している。
本研究は、デジタルツイン表現と強化学習を通じて手術動画理解に新たなパラダイムを提供し、より信頼性が高く推論能力に優れた医療AIシステムの開発を促進する可能性がある。論文はarXivに投稿され、番号は2606.17279、コンピュータビジョンとパターン認識分野に属する。