跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

分割,快與慢:基於雙路徑處理的即時開放詞彙影片例項分割

文章摘要

本文提出SegFS,一種雙流快慢框架,用於開放詞彙影片例項分割(OV-VIS)。透過在稀疏關鍵幀上使用開放詞彙物件模型預測例項表示,並將這些表示投影回主幹特徵空間以調節輕量級快速網路,SegFS在不犧牲準確性的情況下顯著提高了效率。快速分支的延遲比面向移動的MOBIUS模型低14倍,同時保持具有競爭力的分割效能。

來源arXiv Computer Vision作者: Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman
分割,快與慢:基於雙路徑處理的即時開放詞彙影片例項分割
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,基於DETR的物體中心模型已成為開放詞彙影片例項分割(OV-VIS)的主導正規化。儘管已有研究透過降低畫素解碼、文本模態融合和物體解碼的計算成本,使這些架構更適合移動裝置,但在高幀率下實現即時裝置端推理仍是一項開放挑戰。針對這一問題,ECCV 2026錄用論文《Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing》提出了SegFS框架,在保持精度的同時大幅提升效率。

SegFS的核心思想是分離多模態語義理解與密集掩碼預測。在稀疏的關鍵幀上,一個開放詞彙的物體基礎模型預測例項級別的表示;然後,這些表示被投影回主幹特徵空間,用以調節一個輕量級的快速網路。在後續幀中,該快速網路高效地重新定位並分割例項,從而將例項傳播的任務從物體解碼轉換為特徵空間調節。這種設計解耦了多模態理解與掩碼預測,實現了高效的時間傳播。

實驗表明,SegFS的快速分支在延遲上比面向移動裝置的MOBIUS模型低14倍,同時在標準OV-VIS基準上保持了競爭力。該框架易於部署在移動裝置上,為即時影片分析應用(如自動駕駛、增強現實和影片監控)提供了新的可能性。程式碼和模型將在未來公開,為計算機視覺社群貢獻寶貴資源。

展開要點與分析

文章情報

工程師進階

要點

  • SegFS採用雙流快慢架構,在關鍵幀上使用精確的慢路徑,在後續幀上使用高效的快路徑。
  • 透過將例項傳播從物件解碼轉移到特徵空間調節,解耦了多模態語義理解與密集掩碼預測。
  • 快速分支的延遲比MOBIUS低14倍,分割效能具有競爭力。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

分割,快與慢:基於雙路徑處理的即時開放詞彙影片例項分割 | AI News Hub