近年來,基於DETR的物體中心模型已成為開放詞彙影片例項分割(OV-VIS)的主導正規化。儘管已有研究透過降低畫素解碼、文本模態融合和物體解碼的計算成本,使這些架構更適合移動裝置,但在高幀率下實現即時裝置端推理仍是一項開放挑戰。針對這一問題,ECCV 2026錄用論文《Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing》提出了SegFS框架,在保持精度的同時大幅提升效率。
SegFS的核心思想是分離多模態語義理解與密集掩碼預測。在稀疏的關鍵幀上,一個開放詞彙的物體基礎模型預測例項級別的表示;然後,這些表示被投影回主幹特徵空間,用以調節一個輕量級的快速網路。在後續幀中,該快速網路高效地重新定位並分割例項,從而將例項傳播的任務從物體解碼轉換為特徵空間調節。這種設計解耦了多模態理解與掩碼預測,實現了高效的時間傳播。
實驗表明,SegFS的快速分支在延遲上比面向移動裝置的MOBIUS模型低14倍,同時在標準OV-VIS基準上保持了競爭力。該框架易於部署在移動裝置上,為即時影片分析應用(如自動駕駛、增強現實和影片監控)提供了新的可能性。程式碼和模型將在未來公開,為計算機視覺社群貢獻寶貴資源。