跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

FogDrive:用於分級霧天感知的多模態合成駕駛數據集

文章摘要

FogDrive是一個基於CARLA模擬器的多模態自動駕駛數據集,包含660個場景(約13.3萬幀),覆蓋四種同步攝像頭、激光雷達和雷達。它通過科施米德模型和比爾-朗伯定律在三種能見度(160米、100米、50米)下模擬物理一致的霧,並提供清潔和三種霧級別的配對數據。數據集在8千幀上驗證了95.1%的標註精度和超過99%的車輛召回率。基線測試表明,訓練時混合多種霧密度可改善3D檢測,而2D圖像質量指標不能預測下游性能。

來源arXiv Computer Vision作者: Vansh Panwar
FogDrive:用於分級霧天感知的多模態合成駕駛數據集
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

FogDrive是一個全新的多模態合成自動駕駛數據集,旨在系統性地評估自動駕駛系統在分級霧天條件下的感知能力。該數據集由Vansh Panwar等人提出,基於CARLA模擬器構建,包含660個精心設計的場景,總計約13.3萬幀完全標註的幀,白天和夜晚各佔一半。數據集配備了四個同步的攝像頭(RGB、深度和語義分割)、一對激光雷達和語義激光雷達,以及一個前向雷達,提供了豐富的多模態數據。

與現有的真實世界和合成數據集不同,FogDrive在霧的建模上追求物理一致性。對於攝像頭通道,使用科施米德模型模擬霧對光線的衰減;對於激光雷達通道,則採用比爾-朗伯定律模擬激光束在霧中的衰減。霧的濃度被校準為三種能見度級別:160米、100米和50米。每個場景都有四個匹配的變體:無霧以及三個霧級別,並且所有變體都配有跨校準的2D和3D邊界框。這種“清潔-霧”配對結構使得研究者能夠直接評估“去霧-檢測”流水線的性能。

為了確保標註質量,研究團隊對8千幀進行了基於語義分割的質量審計。結果顯示,標註的精度達到95.1%,對於40米內的車輛,召回率超過99%。這證明了數據集的準確性和可靠性。

在基線實驗中,研究人員使用最先進的架構(如TransFusion、BEVFusion和YOLOv8-m)在兩種範式下建立了基準:3D多模態融合和2D圖像恢復。關鍵的發現包括:在訓練過程中混合多種霧密度可以收緊3D邊界框的幾何形狀,而不增加數據擴展成本;而在2D流水線中,圖像質量指標(如PSNR和SSIM)無法有效預測下游檢測性能。這些發現強調了數據工程在魯棒機器學習中的重要性。

FogDrive將完全開源,包括數據生成框架,以加速多模態感知研究在惡劣天氣下的進展。該數據集為自動駕駛社區提供了一個寶貴的資源,用於開發和測試在霧天條件下的魯棒感知算法。

展開要點與分析

文章情報

工程師進階

要點

  • FogDrive提供了嚴格校準的多模態數據,包括RGB、深度、語義分割、激光雷達和雷達。
  • 在三種能見度級別上獨立模擬攝像頭和激光雷達通道上的霧。
  • 質量審核顯示高精度標註,車輛召回率超過99%。
  • 基線實驗發現混合霧密度訓練可提升3D檢測,而圖像質量指標與檢測性能無關。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。