近年、マルチモーダル大規模言語モデル（MLLM）の進展により、エンドツーエンドの自動運転システム向けMLLMの開発が加速しています。しかし、これまでの研究は主に2D画像やビデオを入力とするMLLMに焦点が当てられており、LiDARやステレオカメラなどの3Dセンサーデータの活用は限定的でした。LiDARデータは、その疎らさとグリッド構造の欠如により、MLLMへの統合に特有の課題を伴います。カメラとLiDARの融合は従来の認識パイプラインでは一般的ですが、MLLMフレームワークではまだ稀です。それにもかかわらず、多くの自動運転システムは堅牢なセンシングのためにLiDARに依存しており、従来の3Dシーン認識タスクでは3Dデータの組み込みが性能向上に寄与することが証明されています。
本研究では、このギャップを埋めるために、2Dおよび3D時系列データを単一のシンプルなアーキテクチャで統合する新しいMLLMフレームワークD3VLを提案します。このモデルは、交通シーンの理解と安全性に関する質問、例えば車両の挙動理解や危険予測などに回答することを目的としています。KITTI質問応答（QA）データセットでの評価により、D3VLは2Dまたは3Dデータのみを処理するベースライン手法と比較して11%の改善を示しました。さらに、本論文では多様な運転シナリオ（都市部、高速道路、夜間など）を含むWaymo QAデータセット拡張を導入し、モデルの一般化能力を評価します。実装コードとデータセットは公開されており、本論文はIEEE IV 2026に採択されました。この研究は、自動運転MLLMにおけるマルチモーダル時系列データ統合の新たなベンチマークを設定し、より包括的なシーン理解と安全重視の推論への道を開きます。今後の方向性として、レーダーなどの追加センサーモダリティの統合やリアルタイムアプリケーションへの拡張が考えられます。