可微渲染技術顯著推進了新視角合成(Novel View Synthesis, NVS)的發展。不過,這項技術在實際駕駛場景中的應用依然充滿挑戰:車輛採集的視角通常比較稀疏,道路場景中存在大量動態物體,且此前缺乏多軌跡同步數據來支撐大規模視點變化的評測。為此,研究團隊提出了 Multi-View Multi-Vehicle(MV2)數據集與基準,專門用於在動態城市環境中評估 NVS 模型在巨大視點變化下的表現。
MV2 最突出的特點是採用了一輛汽車、一輛踏板車和一台無人機進行同步拍攝。三者按照不同但時間同步的軌跡移動,訓練時若以一種載具的攝像頭畫面為源、另一種載具的畫面為目標,就能構造出遠超現有單軌跡數據集的大範圍視點變化。這種跨載具、跨軌跡的評估協議,能夠更嚴格地檢驗模型是否真正學會對陌生視角進行合成,而不只是對相近視角做插值。
在數據構建環節,所有序列都通過運動恢復結構(Structure-from-Motion,SfM)進行三維配準,並使用人工標註的像素級對應關係對相機位姿進行驗證,保證了圖像和姿態標註的可靠性。最終得到 50 個高質量場景,共 12,000 張圖像。作者對近期多種 NVS 方法和相機位姿估計方法進行了基準測試,結果發現:隨着訓練與測試視角之間的差異增大,NVS 質量顯著下降;同時,前饋式位姿估計器的表現明顯落後於基於優化的位姿估計方法。這進一步説明 MV2 可以作為駕駛場景中 NVS 能力評測的嚴格測試基準,能夠區分不同方法在極端視角變化下的真實差距。
這篇論文共 18 頁,包含 7 幅圖,已被 ECCV 接收。作者為 Sanjay Bhargav Dharavath 及另外 5 位合作者。數據集、基準測試協議以及相關項目資源均已發佈在項目主頁 https://mv2-dataset.github.io/ 上,論文預印本可參見 arXiv:2608.12442。