近年來，多模態大語言模型（MLLM）的突破性進展為端到端自動駕駛系統帶來了新的可能性。然而，現有研究大多聚焦於基於2D圖像和視頻的MLLM，對3D傳感器數據的利用相對有限。本文作者另闢蹊徑，深入探討了利用3D傳感器（尤其是LiDAR和立體相機）的MLLM有效性。LiDAR數據因其稀疏性和非網格結構，在集成到MLLM時面臨獨特挑戰，例如缺乏規則的像素排列和極高的數據冗餘度。這導致相機與LiDAR數據的融合在現有的MLLM管道中鮮有嘗試，但大多數自動駕駛系統依然依賴LiDAR感知。事實上，傳統3D場景感知任務已經證明，融入3D數據能夠顯著提升性能。
為解決這一問題，作者提出了D3VL（Driving 3D Video Language），一種新穎的MLLM框架，通過簡單統一的架構巧妙整合2D和3D時序數據。該模型的設計目標是回答涉及交通場景理解與安全性的複雜問題，例如預測行人軌跡、識別危險事件等。實驗表明，在KITTI問答（QA）數據集上，D3VL在處理2D和3D時序數據時，相比基線方法取得了11%的性能提升。此外，論文還引入了Waymo QA數據集擴展，該擴展涵蓋了多種駕駛條件（如城市道路、高速公路、夜間等），用於評估模型在多樣化場景下處理3D和時間序列數據的能力。D3VL的實現代碼和WaymoQA擴展已發佈於補充網站。該工作已被IEEE IV 2026會議接收，標誌着自動駕駛場景理解領域的一個重要進展。未來，該框架有望被應用於更廣泛的自動駕駛任務，如路徑規劃和行為預測，進一步推動自動駕駛技術的實用化。