開放語彙ビデオインスタンスセグメンテーション（OV-VIS）は、動画内の任意のテキスト記述に対応する対象をインスタンスレベルで分割するタスクであり、マルチモーダルな意味理解と高密度のピクセル予測の両方を必要とする。近年、DETR に着想を得たオブジェクト中心モデルがこの分野の支配的パラダイムとなっている。ピクセルデコード、テキストモダリティ融合、オブジェクトデコードの計算コストを削減することでモバイル機器への適合が進んだものの、高フレームレートでのオンデバイス実時間推論は依然として未解決の課題である。
この課題に対し、Luca Barsellotti 氏ら 7 名の著者は SegFS と呼ぶデュアルストリームの高速・低速フレームワークを提案する。中心となるアイデアは、疎なキーフレーム上で開放語彙オブジェクトモデルを用いてインスタンスレベルの表現を予測し、その表現をバックボーン特徴空間へ投影して軽量な高速ネットワークを条件付けるというものである。高速ネットワークは後続フレームにおいてインスタンスを効率的に再定位し分割するため、毎フレームで完全なオブジェクトデコードやモダリティ融合を実行する必要がない。
本手法の要点は、インスタンス伝播をオブジェクトデコードの段階から特徴空間条件付けの段階へ移したことにある。従来手法はオブジェクトクエリの時間的受け渡しに依存しがちだが、SegFS は意味理解と高密度マスク予測を分離する。低速ブランチが「何であるか」を理解し、高速ブランチが「どこにあるか」に効率的に答えるという役割分担により、マルチモーダル意味理解を毎フレーム繰り返す必要がなくなり、時間伝播が軽量化される。
著者らによれば、提案する高速ブランチはモバイル向け MOBIUS モデルと比較して最大 14 倍低いレイテンシを実現し、標準 OV-VIS ベンチマークで競争力のある分割性能を維持する。本論文は ECCV 2026 に採択されており、コンピュータビジョンとパターン認識（cs.CV）分野に属し、arXiv 番号は 2607.00124、2026 年 6 月 30 日に投稿された。
全体として SegFS は、実時間の開放語彙ビデオインスタンスセグメンテーションに向けた「高速・低速分離」の工学的道筋を示している。疎なキーフレームで高コストな開放語彙意味計算を担い、軽量な特徴条件付けネットワークで高頻度フレームのインスタンス伝播を担う這個構成は、高フレームレートと低遅延が求められるオンデバイス視覚応用に直接的な参考価値を持つ。