リモートセンシング（RS）分野では、高品質な密ラベルデータセットの不足が長年の課題となっています。これらのデータセットは取得コストが非常に高く、教師あり学習の適用を困難にしています。最近、DINOv3がGEO-benchセグメンテーションベンチマークにおいて、RSデータでの事前学習なしに最先端のRS基盤モデルを上回り、汎用的な視覚表現の強力さを示しました。さらに、DINO.txtによりDINOv3バックボーンを用いたオープンボキャブラリセマンティックセグメンテーション（OVSS）が可能になりました。これらの進展を活用し、RSドメインの微調整を一切行わないOVSSモデル、CAFe-DINOが提案されました。
CAFe-DINO（Cost Aggregation + Feature Upsampling with DINO）は、コスト集約と学習不要のアップサンプリングを通じて、RS画像に対するDINOv3の強力なOVSS性能を引き出します。DINOv3バックボーンの堅牢な潜在表現により、RS画像での微調整は不要となり、代わりにCOCO-StuffのRS対象サブセットでのみ微調整が行われます。この戦略は、DINOv3が自然画像で学習した汎用的な知識を保持しつつ、コスト集約メカニズムによってテキスト埋め込みと画像特徴のアライメントを高めます。学習不要のアップサンプリングは単純な補間操作で粗い類似度マップを高解像度に変換し、精細なセグメンテーション結果を生成します。
DINOv3はMeta AIによって開発された自己教師ありビジョントランスフォーマーであり、ImageNetなどの大規模データセットで事前学習された後、豊富な意味的特徴を学習します。GEO-benchでは、RSに関する事前知識なしに専門的なRS基盤モデルを凌駕し、汎用視覚モデルのRS分野での可能性を示しました。CAFe-DINOはこの発見に基づき、軽量な適応層を通じてDINOv3の能力をセマンティックセグメンテーションタスクに転用します。実験結果は、ISPRS PotsdamやVaihingenなどの主要なRSセグメンテーションデータセットにおいて、CAFe-DINOがRSデータで微調整されたOVSS手法をも凌ぐ最先端の性能を達成したことを示しています。この成功は、強力な視覚基盤モデルと巧妙なゼロショット適応戦略の組み合わせが、RS分野のラベルデータ不足問題を緩和する有効な手段であることを証明しています。コードとデータはGitHubで公開され、研究は2026年CVPR MORSEワークショップに採択されました。