精準的時空標註對於腹腔鏡手術影片分析至關重要，但這一過程耗時且需要專業知識。近日，來自研究團隊提出了一種創新的人機協同知識獲取框架，旨在透過主動學習與弱監督策略，顯著減少自動定位和分割手術視野中目標物體所需的標註工作量。該論文已被2026年IPCAI會議接收。
該方法的核心是結合主動學習與雙損失最佳化。研究團隊利用基礎模型從影片中生成時序一致的類啟用圖（CAM），並採用兩種互補的訓練目標：一是基於影片級工具存在標籤的弱監督損失，用於弱標註資料；二是透過主動學習獲取的人工修正標註上的影像級掩膜損失。這種設計避免了傳統方法要求預先提供密集畫素級標註的缺陷。
整個工作流程以迭代方式執行：模型首先基於當前知識提出偽掩膜，這些偽掩膜被呈現給專家標註者，後者負責修正其中不準確的部分。專家只需修正偽掩膜，而非從頭開始建立標註，從而大幅提高效率。修正後的標註被反饋給模型，用於下一輪的訓練和偽掩膜生成。透過這種逐步精煉的過程，模型的知識逐步增強，同時所需的人工干預逐漸減少。
實驗表明，與完全手動標註相比，該框架在訓練結束時能將手術影片標註工作量減少50%。這一顯著提升得益於主動學習的智慧取樣策略，它優先選擇模型最不確定的樣本交由專家處理，從而最大化專家輸入的效用。同時，弱監督損失利用了影片級標籤（如是否存在某種工具），這些標籤相對容易獲取，進一步降低了標註門檻。
該研究的另一重要貢獻是消除了從一開始就需要大規模完全標註資料集的瓶頸。透過弱監督和主動學習的結合，模型能夠在有限的專家輸入下高效獲取知識，為手術器械分割模型的可擴充套件開發鋪平了道路。該方法支援將分割能力擴充套件到更大、更多樣化的資料集，以及真實的臨床環境，具有實際部署價值。研究團隊還指出，該框架可以適配不同的基礎模型，並適用於其他需要時空標註的醫療影片分析任務。