跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

快慢分治:双路径实时开放词汇视频实例分割

文章摘要

SegFS 提出双流快慢框架,在稀疏关键帧上用开放词汇目标模型预测实例表示,再将其投影回骨干特征空间以条件化轻量快速网络,从而在后续帧中高效重定位和分割实例。该方法将实例传播从对象解码转移到特征空间条件化,解耦多模态语义理解与密集掩码预测,快速分支延迟比面向移动端的 MOBIUS 模型低至多 14 倍,同时在标准 OV-VIS 基准上保持有竞争力的分割性能。

来源arXiv Computer Vision作者: Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman
快慢分治:双路径实时开放词汇视频实例分割
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

意大利研究团队于2026年6月30日提交了一篇题为《Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing》的论文,第一作者为Luca Barsellotti,另有7位合著者,论文已被ECCV 2026接收,归类于计算机视觉与模式识别(cs.CV)方向,arXiv编号为2607.00124。该研究聚焦开放词汇视频实例分割(OV-VIS)这一任务,试图解决在移动端设备上实现高帧率实时推理的难题。

论文指出,受DETR启发的以对象为中心的模型已成为开放词汇视频实例分割的主流范式。此前的研究虽然通过降低像素解码、文本模态融合和对象解码的计算开销,使这类架构更适合部署在移动设备上,但在端侧以高帧率进行实时推理仍然是一个悬而未决的挑战。针对这一瓶颈,作者提出了名为SegFS的双流快慢框架,其核心目标是在不牺牲精度的前提下显著提升效率。

SegFS的设计思路可以概括为分工协作:在稀疏的关键帧上,由一个开放词汇的、以对象为基础的模型预测实例级表示;随后,这些表示被投影回主干网络的特征空间,用以调节一个轻量级的快速网络。该快速网络据此在后续帧中高效地重新定位并分割这些实例。作者强调,通过将实例传播从对象解码阶段转移到特征空间调节阶段,该方法实现了多模态语义理解与稠密掩码预测的解耦,从而使时序传播更加高效。

在性能方面,论文给出的关键数据是:所提出的快速分支相比面向移动端优化的MOBIUS模型,延迟最多可降低14倍,同时在标准OV-VIS基准上保持了具有竞争力的分割表现。作者认为,这种快慢双路径处理方式为在移动设备上实现实时开放词汇视频实例分割提供了一条可行路径,兼顾了语义理解能力与推理速度。

从论文提交信息看,该版本为v1,提交时间为2026年6月30日19:59:19 UTC,全文约13,117 KB,DOI为10.48550/arXiv.2607.00124,相关引用元数据通过DataCite发放。研究属于cs.CV浏览分类下的新论文,也可按cs大类检索。论文的摘要与元数据均已在arXiv页面上公开,读者可通过PDF、实验性HTML以及TeX源码等方式获取全文。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出 SegFS 双流快慢框架,在关键帧上做开放词汇实例表示预测,在后续帧上用轻量网络快速传播。
  • 将实例传播从对象解码改为特征空间条件化,解耦多模态语义理解与密集掩码预测。
  • 快速分支延迟比移动端 MOBIUS 模型低至多 14 倍,同时在标准 OV-VIS 基准上保持有竞争力的性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。