精準的時空標註對於腹腔鏡手術視頻分析至關重要，但這一過程耗時且需要專業知識。近日，來自研究團隊提出了一種創新的人機協同知識獲取框架，旨在通過主動學習與弱監督策略，顯著減少自動定位和分割手術視野中目標物體所需的標註工作量。該論文已被2026年IPCAI會議接收。
該方法的核心是結合主動學習與雙損失優化。研究團隊利用基礎模型從視頻中生成時序一致的類激活圖（CAM），並採用兩種互補的訓練目標：一是基於視頻級工具存在標籤的弱監督損失，用於弱標註數據；二是通過主動學習獲取的人工修正標註上的圖像級掩膜損失。這種設計避免了傳統方法要求預先提供密集像素級標註的缺陷。
整個工作流程以迭代方式運行：模型首先基於當前知識提出偽掩膜，這些偽掩膜被呈現給專家標註者，後者負責修正其中不準確的部分。專家只需修正偽掩膜，而非從頭開始創建標註，從而大幅提高效率。修正後的標註被反饋給模型，用於下一輪的訓練和偽掩膜生成。通過這種逐步精煉的過程，模型的知識逐步增強，同時所需的人工干預逐漸減少。
實驗表明，與完全手動標註相比，該框架在訓練結束時能將手術視頻標註工作量減少50%。這一顯著提升得益於主動學習的智能採樣策略，它優先選擇模型最不確定的樣本交由專家處理，從而最大化專家輸入的效用。同時，弱監督損失利用了視頻級標籤（如是否存在某種工具），這些標籤相對容易獲取，進一步降低了標註門檻。
該研究的另一重要貢獻是消除了從一開始就需要大規模完全標註數據集的瓶頸。通過弱監督和主動學習的結合，模型能夠在有限的專家輸入下高效獲取知識，為手術器械分割模型的可擴展開發鋪平了道路。該方法支持將分割能力擴展到更大、更多樣化的數據集，以及真實的臨牀環境，具有實際部署價值。研究團隊還指出，該框架可以適配不同的基礎模型，並適用於其他需要時空標註的醫療視頻分析任務。