微分可能レンダリングの進歩により、新しい視点からの画像を合成するNovel View Synthesis(NVS)は大きく発展してきた。しかし、実世界の運転シーンに適用するには、撮影視点がまばらであること、動的な物体が多いこと、複数軌道にわたるデータが不足していることなど、多くの課題が残っている。本研究では、動的な都市環境で大きな視点変化を伴うNVSモデルの評価を目的とした、Multi-View Multi-Vehicle(MV2)データセットとベンチマークを提案する。
MV2の最大の特徴は、車、スクーター、ドローンによる同期撮影である。それぞれは異なるが時間的に同期した軌道をたどる。ある移動体のカメラ映像でNVSモデルを学習し、別の移動体の映像でテストするというプロトコルにより、既存の単一軌道データセットよりもはるかに大きな視点変化に対する評価が可能になる。この異なる移動体間の評価は、モデルが近い視点の補間ではなく、未知の視点をどれだけ本質的に合成できるかを厳しく問うものだ。
データセットの構築では、全シーケンスをStructure-from-Motion(SfM)によって位置合わせし、手動によるピクセルレベルの対応アノテーションでカメラポーズの検証を行っている。これにより、高品質な50シーン・12,000枚の画像が整備された。著者らは最新のNVS手法とカメラポーズ推定手法をベンチマークし、学習時とテスト時の視点差が大きくなるほどNVS性能が低下すること、さらにフィードフォワード型のポーズ推定が最適化ベースの手法に顕著に及ばないことを示した。この結果は、MV2が運転シーンにおけるNVSの厳しいテストベッドとして、極端な視点変化下での手法間の実力を明確に浮き彫りにすることを意味している。
本論文は18ページ・7図からなり、ECCVに採録されている。著者はSanjay Bhargav Dharavath氏ら6名。データセット、ベンチマークプロトコル、プロジェクトリソースはプロジェクトサイト(https://mv2-dataset.github.io/)で公開されており、プレプリントはarXiv:2608.12442で入手できる。