U-CFR: 不確かさに基づくカスケード前方精緻化によるインタラクティブセグメンテーション
U-CFRは、ユーザーの各操作後に自律的に自己補正を行う、インタラクティブセグメンテーションのための新しい推論時フレームワークです。セグメンテーションの不確かさ、輪郭勾配、エッジ予測を融合した境界認識型不確かさスコアを導入し、内部擬似クリックをガイドします。セグメンテーションヘッドとエッジヘッドを持つデュアルヘッドネットワークにより、マスクを段階的に改善するカスケード精緻化を実現。Berkeleyなどの難易度の高いデータセットでクリック数を10%以上削減しました。
インタラクティブ画像セグメンテーションは、医用画像解析、自動運転システム、画像編集ツールなど、多くの実用的なアプリケーションにおいて不可欠な技術です。ユーザーが提供するクリックなどのインタラクション信号に基づいて、画像内の対象オブジェクトを正確に切り出すことを目的としています。しかし、既存の手法はしばしば多くの修正クリックを必要とするか、収束が遅い受動的精緻化方式に依存しており、ユーザーの負担が大きく、効率的ではありませんでした。
これらの課題に対処するため、研究チーム（Elijah Danquah Darko氏ら）は、U-CFR（Uncertainty-Guided Cascade Forward Refinement）という新しい推論時フレームワークを提案しました。U-CFRの最大の特徴は、ユーザーが1回のインタラクションを行った後、モデルが自律的に自己補正を実行できる点です。これにより、ユーザーは少ないクリック数で高品質なセグメンテーション結果を得ることができます。
U-CFRの核となるアイデアは、「境界認識型不確かさスコア」です。このスコアは、セグメンテーションの不確かさ（モデルの予測信頼度）、輪郭勾配（画像エッジの強度）、および明示的なエッジ予測結果の3つの情報を融合して計算されます。これにより、最も曖昧で誤りやすい境界領域を正確に特定できます。特定された不確かな領域には、内部擬似クリックが自動的に生成されます。これらの擬似クリックは、人手による追加入力を必要とせず、強力な修正信号として機能します。
このプロセスを実現するために、U-CFRはデュアルヘッドネットワークを採用しています。ネットワークは共有のエンコーダ-デコーダバックボーンを持ち、セグメンテーションヘッドとエッジヘッドの2つの出力ヘッドを備えています。セグメンテーションヘッドは領域一貫性を確保し、エッジヘッドは境界の鋭さを向上させます。推論時には、カスケード状の精緻化ステップが実行されます。各ステップでは、現在のマスクから不確かさスコアを計算し、擬似クリックを配置してネットワークに入力することで、マスクが段階的に洗練されます。実験では、3回のカスケードステップで十分な性能が得られることが示されました。
標準ベンチマークデータセットでの評価結果は、U-CFRの有効性を強く示しています。Berkeleyセグメンテーションデータセット（BSDS500）では、従来手法と比較してユーザークリック数を10%以上削減しながら、より高いセグメンテーション精度（IoU）を達成しました。また、GrabCutやSBDなどのデータセットでも優れたパフォーマンスを示し、初期マスク品質と境界精度の両方が改善されました。これらの結果は、U-CFRがインタラクティブアノテーションをより効率的かつインテリジェントにすることを証明しています。
本論文は、ICPR 2026で発表され、全12ページ、3つの図、4つの表を含んでいます。著者らは、将来の研究として、ビデオセグメンテーションや3DセグメンテーションへのU-CFRの拡張を検討しています。これにより、さらに多くの応用分野での活用が期待されます。