FogDrive是一個全新的多模態合成自動駕駛數據集,旨在系統性地評估自動駕駛系統在分級霧天條件下的感知能力。該數據集由Vansh Panwar等人提出,基於CARLA模擬器構建,包含660個精心設計的場景,總計約13.3萬幀完全標註的幀,白天和夜晚各佔一半。數據集配備了四個同步的攝像頭(RGB、深度和語義分割)、一對激光雷達和語義激光雷達,以及一個前向雷達,提供了豐富的多模態數據。
與現有的真實世界和合成數據集不同,FogDrive在霧的建模上追求物理一致性。對於攝像頭通道,使用科施米德模型模擬霧對光線的衰減;對於激光雷達通道,則採用比爾-朗伯定律模擬激光束在霧中的衰減。霧的濃度被校準為三種能見度級別:160米、100米和50米。每個場景都有四個匹配的變體:無霧以及三個霧級別,並且所有變體都配有跨校準的2D和3D邊界框。這種“清潔-霧”配對結構使得研究者能夠直接評估“去霧-檢測”流水線的性能。
為了確保標註質量,研究團隊對8千幀進行了基於語義分割的質量審計。結果顯示,標註的精度達到95.1%,對於40米內的車輛,召回率超過99%。這證明了數據集的準確性和可靠性。
在基線實驗中,研究人員使用最先進的架構(如TransFusion、BEVFusion和YOLOv8-m)在兩種範式下建立了基準:3D多模態融合和2D圖像恢復。關鍵的發現包括:在訓練過程中混合多種霧密度可以收緊3D邊界框的幾何形狀,而不增加數據擴展成本;而在2D流水線中,圖像質量指標(如PSNR和SSIM)無法有效預測下游檢測性能。這些發現強調了數據工程在魯棒機器學習中的重要性。
FogDrive將完全開源,包括數據生成框架,以加速多模態感知研究在惡劣天氣下的進展。該數據集為自動駕駛社區提供了一個寶貴的資源,用於開發和測試在霧天條件下的魯棒感知算法。