FogDrive是一個全新的多模態合成自動駕駛資料集,旨在系統性地評估自動駕駛系統在分級霧天條件下的感知能力。該資料集由Vansh Panwar等人提出,基於CARLA模擬器構建,包含660個精心設計的場景,總計約13.3萬幀完全標註的幀,白天和夜晚各佔一半。資料集配備了四個同步的攝像頭(RGB、深度和語義分割)、一對雷射雷達和語義雷射雷達,以及一個前向雷達,提供了豐富的多模態資料。
與現有的真實世界和合成資料集不同,FogDrive在霧的建模上追求物理一致性。對於攝像頭通道,使用科施米德模型模擬霧對光線的衰減;對於雷射雷達通道,則採用比爾-朗伯定律模擬雷射束在霧中的衰減。霧的濃度被校準為三種能見度級別:160米、100米和50米。每個場景都有四個匹配的變體:無霧以及三個霧級別,並且所有變體都配有跨校準的2D和3D邊界框。這種“清潔-霧”配對結構使得研究者能夠直接評估“去霧-檢測”流水線的效能。
為了確保標註質量,研究團隊對8千幀進行了基於語義分割的質量審計。結果顯示,標註的精度達到95.1%,對於40米內的車輛,召回率超過99%。這證明了資料集的準確性和可靠性。
在基線實驗中,研究人員使用最先進的架構(如TransFusion、BEVFusion和YOLOv8-m)在兩種正規化下建立了基準:3D多模態融合和2D影像恢復。關鍵的發現包括:在訓練過程中混合多種霧密度可以收緊3D邊界框的幾何形狀,而不增加資料擴充套件成本;而在2D流水線中,影像質量指標(如PSNR和SSIM)無法有效預測下游檢測效能。這些發現強調了資料工程在魯棒機器學習中的重要性。
FogDrive將完全開源,包括資料生成框架,以加速多模態感知研究在惡劣天氣下的進展。該資料集為自動駕駛社群提供了一個寶貴的資源,用於開發和測試在霧天條件下的魯棒感知演算法。