跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

MV2:用於新視角合成的多視角多車輛駕駛資料集

文章摘要

MV2 是一個面向動態城市場景中新視角合成(NVS)評估的多視角多車輛資料集與基準,包含汽車、踏板車和無人機同步拍攝的 50 個高質量場景、12000 張影像。測試表明,視點差異增大時 NVS 效能下降,前饋式位姿估計顯著落後於最佳化方法。資料集、基準協議和專案資源已開源。

來源arXiv Computer Vision作者: Sanjay Bhargav Dharavath, Hanvitha Saraswathi Mukkamala, Faizan Farooq Khan, Ioannis Kakogeorgiou, Aditya Arun, C V Jawahar, Zakaria Laskar
MV2:用於新視角合成的多視角多車輛駕駛資料集
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

可微渲染技術顯著推進了新視角合成(Novel View Synthesis, NVS)的發展。不過,這項技術在實際駕駛場景中的應用依然充滿挑戰:車輛採集的視角通常比較稀疏,道路場景中存在大量動態物體,且此前缺乏多軌跡同步資料來支撐大規模視點變化的評測。為此,研究團隊提出了 Multi-View Multi-Vehicle(MV2)資料集與基準,專門用於在動態城市環境中評估 NVS 模型在巨大視點變化下的表現。

MV2 最突出的特點是採用了一輛汽車、一輛踏板車和一臺無人機進行同步拍攝。三者按照不同但時間同步的軌跡移動,訓練時若以一種載具的攝像頭畫面為源、另一種載具的畫面為目標,就能構造出遠超現有單軌跡資料集的大範圍視點變化。這種跨載具、跨軌跡的評估協議,能夠更嚴格地檢驗模型是否真正學會對陌生視角進行合成,而不只是對相近視角做插值。

在資料構建環節,所有序列都透過運動恢復結構(Structure-from-Motion,SfM)進行三維配準,並使用人工標註的畫素級對應關係對相機位姿進行驗證,保證了影像和姿態標註的可靠性。最終得到 50 個高質量場景,共 12,000 張影像。作者對近期多種 NVS 方法和相機位姿估計方法進行了基準測試,結果發現:隨著訓練與測試視角之間的差異增大,NVS 質量顯著下降;同時,前饋式位姿估計器的表現明顯落後於基於最佳化的位姿估計方法。這進一步說明 MV2 可以作為駕駛場景中 NVS 能力評測的嚴格測試基準,能夠區分不同方法在極端視角變化下的真實差距。

這篇論文共 18 頁,包含 7 幅圖,已被 ECCV 接收。作者為 Sanjay Bhargav Dharavath 及另外 5 位合作者。資料集、基準測試協議以及相關專案資源均已釋出在專案主頁 https://mv2-dataset.github.io/ 上,論文預印本可參見 arXiv:2608.12442。

展開要點與分析

文章情報

投資人進階

要點

  • MV2 提供汽車、踏板車、無人機三路同步影像,可構建遠超單軌跡資料集的大視點變化評估。
  • 包含 50 個高質量場景和 12000 張經 SfM 配準及人工畫素級位姿驗證的影像。
  • 基準實驗顯示:視點差異越大,NVS 效能越低;前饋位姿估計器明顯不及基於最佳化的方法。
  • 論文已被 ECCV 接收,專案頁面已開放資料集與基準協議。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。