FogDriveは、悪天候下での自動運転知覚のロバスト性を系統的に評価するために設計された新しいマルチモーダル合成データセットです。Vansh Panwarらによって提案され、CARLAシミュレータを用いて構築されました。データセットは660のシーンから構成され、それぞれが約13.3万フレームの完全アノテーション付きフレームを含み、昼夜の割合は50:50です。カメラ（RGB、深度、セマンティックセグメンテーション）、LiDARとセマンティックLiDARのペア、前面レーダーの4つの同期センサーを搭載しており、豊富なマルチモーダルデータを提供します。
FogDriveの特徴は、物理的に一貫した霧のモデル化にあります。カメラチャネルにはKoschmiederモデルを、LiDARチャネルにはBeer-Lambert則を適用し、160m、100m、50mの3段階の視程で霧の濃度を調整しています。各シーンには、クリーンな状態と3つの霧レベルの合計4つのバリアントがあり、すべてにクロスキャリブレーションされた2Dおよび3Dバウンディングボックスが付与されています。これにより、「デフォッグ→検出」パイプラインのベンチマークが可能になります。
品質管理では、8千フレームを対象にセマンティックセグメンテーションベースの監査を実施。その結果、アノテーションの精度は95.1%、40m以内の車両に対する再現率は99%超と高い信頼性が確認されました。
ベースライン評価では、TransFusion、BEVFusion、YOLOv8-mなどの最先端アーキテクチャを用いて、3Dマルチモーダル融合と2D画像復元の2つのパラダイムで実験が行われました。重要な知見として、訓練時に複数の霧密度を混合することで、データスケーリングのコストを増やすことなく3Dバウンディングボックスの幾何学が改善されることがわかりました。また、2Dパイプラインでは、PSNRやSSIMなどの画像品質指標が下流の検出性能の良い予測因子ではないことが示されました。
FogDriveは、データ生成フレームワークとともに完全オープンソース化される予定であり、悪天候下でのロバストなマルチモーダル知覚研究を加速することが期待されます。このデータセットは、自動運転コミュニティにとって、霧条件下での頑健な認識アルゴリズムの開発とテストに貴重なリソースとなるでしょう。