腹腔鏡手術ビデオの正確な時空間アノテーションは、多大な時間と専門知識を要する作業です。本論文では、能動学習と弱教師あり学習を融合した人間参加型知識獲得フレームワークを提案し、手術野における物体の自動位置特定とセグメンテーションに必要なアノテーション作業を大幅に削減します。このフレームワークは、2026年のIPCAI会議で採択されました。
提案手法は、基礎モデルを活用してビデオから時間的に一貫したクラスアクティベーションマップ（CAM）を生成します。訓練には2つの相補的な目的関数を用います：弱教師ありデータに対してはビデオレベルのツール存在ラベルによる弱教師あり損失、能動学習で得られた人間修正アノテーションには画像レベルのマスク損失を適用します。この二重損失最適化により、モデルは限られた情報から効果的に学習できます。
処理の流れは反復的です。最初にモデルが疑似マスクを提案し、専門家アノテーターはそれを基に修正を行います。これにより、最初から密なピクセルレベルのアノテーションを必要とせず、モデルが既に獲得した知識を効率的に精緻化できます。修正されたアノテーションはモデルにフィードバックされ、次の反復での疑似マスク生成に利用されます。このプロセスを通じて、モデルの知識は徐々に向上し、人間の介入は減少します。
実験では、完全手動アノテーションと比較して、訓練終了時までに手術ビデオのアノテーション作業を50%削減できることが示されました。この削減は、能動学習がモデルの不確実性が高いサンプルを優先的に選択し、専門家の入力を最大限に活用することで達成されます。また、弱教師あり損失はビデオレベルのラベル（ツールの有無など）を利用するため、比較的容易に入手可能であり、アノテーションの負担をさらに軽減します。
このフレームワークの大きな利点は、大規模な完全アノテーションデータセットを最初から必要としない点です。弱教師あり学習と能動学習の組み合わせにより、最小限の専門家入力で効率的な知識獲得を実現し、手術器具セグメンテーションモデルの拡張性を高めます。より大規模で多様なデータセットや実際の臨床環境への適用が可能となり、実用的で展開可能な戦略を提供します。また、研究チームはこのフレームワークが異なる基礎モデルに適応可能であり、他の医療ビデオ解析タスクにも応用できると述べています。