跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

MV2:用於新視角合成的多視角多車輛駕駛數據集

文章摘要

MV2 是一個面向動態城市場景中新視角合成(NVS)評估的多視角多車輛數據集與基準,包含汽車、踏板車和無人機同步拍攝的 50 個高質量場景、12000 張圖像。測試表明,視點差異增大時 NVS 性能下降,前饋式位姿估計顯著落後於優化方法。數據集、基準協議和項目資源已開源。

來源arXiv Computer Vision作者: Sanjay Bhargav Dharavath, Hanvitha Saraswathi Mukkamala, Faizan Farooq Khan, Ioannis Kakogeorgiou, Aditya Arun, C V Jawahar, Zakaria Laskar
MV2:用於新視角合成的多視角多車輛駕駛數據集
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

可微渲染技術顯著推進了新視角合成(Novel View Synthesis, NVS)的發展。不過,這項技術在實際駕駛場景中的應用依然充滿挑戰:車輛採集的視角通常比較稀疏,道路場景中存在大量動態物體,且此前缺乏多軌跡同步數據來支撐大規模視點變化的評測。為此,研究團隊提出了 Multi-View Multi-Vehicle(MV2)數據集與基準,專門用於在動態城市環境中評估 NVS 模型在巨大視點變化下的表現。

MV2 最突出的特點是採用了一輛汽車、一輛踏板車和一台無人機進行同步拍攝。三者按照不同但時間同步的軌跡移動,訓練時若以一種載具的攝像頭畫面為源、另一種載具的畫面為目標,就能構造出遠超現有單軌跡數據集的大範圍視點變化。這種跨載具、跨軌跡的評估協議,能夠更嚴格地檢驗模型是否真正學會對陌生視角進行合成,而不只是對相近視角做插值。

在數據構建環節,所有序列都通過運動恢復結構(Structure-from-Motion,SfM)進行三維配準,並使用人工標註的像素級對應關係對相機位姿進行驗證,保證了圖像和姿態標註的可靠性。最終得到 50 個高質量場景,共 12,000 張圖像。作者對近期多種 NVS 方法和相機位姿估計方法進行了基準測試,結果發現:隨着訓練與測試視角之間的差異增大,NVS 質量顯著下降;同時,前饋式位姿估計器的表現明顯落後於基於優化的位姿估計方法。這進一步説明 MV2 可以作為駕駛場景中 NVS 能力評測的嚴格測試基準,能夠區分不同方法在極端視角變化下的真實差距。

這篇論文共 18 頁,包含 7 幅圖,已被 ECCV 接收。作者為 Sanjay Bhargav Dharavath 及另外 5 位合作者。數據集、基準測試協議以及相關項目資源均已發佈在項目主頁 https://mv2-dataset.github.io/ 上,論文預印本可參見 arXiv:2608.12442。

展開要點與分析

文章情報

投資人進階

要點

  • MV2 提供汽車、踏板車、無人機三路同步影像,可構建遠超單軌跡數據集的大視點變化評估。
  • 包含 50 個高質量場景和 12000 張經 SfM 配準及人工像素級位姿驗證的圖像。
  • 基準實驗顯示:視點差異越大,NVS 性能越低;前饋位姿估計器明顯不及基於優化的方法。
  • 論文已被 ECCV 接收,項目頁面已開放數據集與基準協議。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。