AI News HubLIVE
站内改写1 分钟阅读

FogDrive:用于分级雾天感知的多模态合成驾驶数据集

FogDrive是一个基于CARLA模拟器的多模态自动驾驶数据集,包含660个场景(约13.3万帧),覆盖四种同步摄像头、激光雷达和雷达。它通过科施米德模型和比尔-朗伯定律在三种能见度(160米、100米、50米)下模拟物理一致的雾,并提供清洁和三种雾级别的配对数据。数据集在8千帧上验证了95.1%的标注精度和超过99%的车辆召回率。基线测试表明,训练时混合多种雾密度可改善3D检测,而2D图像质量指标不能预测下游性能。

来源arXiv Computer Vision作者: Vansh Panwar

FogDrive是一个全新的多模态合成自动驾驶数据集,旨在系统性地评估自动驾驶系统在分级雾天条件下的感知能力。该数据集由Vansh Panwar等人提出,基于CARLA模拟器构建,包含660个精心设计的场景,总计约13.3万帧完全标注的帧,白天和夜晚各占一半。数据集配备了四个同步的摄像头(RGB、深度和语义分割)、一对激光雷达和语义激光雷达,以及一个前向雷达,提供了丰富的多模态数据。

与现有的真实世界和合成数据集不同,FogDrive在雾的建模上追求物理一致性。对于摄像头通道,使用科施米德模型模拟雾对光线的衰减;对于激光雷达通道,则采用比尔-朗伯定律模拟激光束在雾中的衰减。雾的浓度被校准为三种能见度级别:160米、100米和50米。每个场景都有四个匹配的变体:无雾以及三个雾级别,并且所有变体都配有跨校准的2D和3D边界框。这种“清洁-雾”配对结构使得研究者能够直接评估“去雾-检测”流水线的性能。

为了确保标注质量,研究团队对8千帧进行了基于语义分割的质量审计。结果显示,标注的精度达到95.1%,对于40米内的车辆,召回率超过99%。这证明了数据集的准确性和可靠性。

在基线实验中,研究人员使用最先进的架构(如TransFusion、BEVFusion和YOLOv8-m)在两种范式下建立了基准:3D多模态融合和2D图像恢复。关键的发现包括:在训练过程中混合多种雾密度可以收紧3D边界框的几何形状,而不增加数据扩展成本;而在2D流水线中,图像质量指标(如PSNR和SSIM)无法有效预测下游检测性能。这些发现强调了数据工程在鲁棒机器学习中的重要性。

FogDrive将完全开源,包括数据生成框架,以加速多模态感知研究在恶劣天气下的进展。该数据集为自动驾驶社区提供了一个宝贵的资源,用于开发和测试在雾天条件下的鲁棒感知算法。