近年來，多模態大語言模型（MLLM）的突破性進展為端到端自動駕駛系統帶來了新的可能性。然而，現有研究大多聚焦於基於2D影像和影片的MLLM，對3D感測器資料的利用相對有限。本文作者另闢蹊徑，深入探討了利用3D感測器（尤其是LiDAR和立體相機）的MLLM有效性。LiDAR資料因其稀疏性和非網格結構，在整合到MLLM時面臨獨特挑戰，例如缺乏規則的畫素排列和極高的資料冗餘度。這導致相機與LiDAR資料的融合在現有的MLLM管道中鮮有嘗試，但大多數自動駕駛系統依然依賴LiDAR感知。事實上，傳統3D場景感知任務已經證明，融入3D資料能夠顯著提升效能。
為解決這一問題，作者提出了D3VL（Driving 3D Video Language），一種新穎的MLLM框架，透過簡單統一的架構巧妙整合2D和3D時序資料。該模型的設計目標是回答涉及交通場景理解與安全性的複雜問題，例如預測行人軌跡、識別危險事件等。實驗表明，在KITTI問答（QA）資料集上，D3VL在處理2D和3D時序資料時，相比基線方法取得了11%的效能提升。此外，論文還引入了Waymo QA資料集擴充套件，該擴充套件涵蓋了多種駕駛條件（如城市道路、高速公路、夜間等），用於評估模型在多樣化場景下處理3D和時間序列資料的能力。D3VL的實現程式碼和WaymoQA擴充套件已釋出於補充網站。該工作已被IEEE IV 2026會議接收，標誌著自動駕駛場景理解領域的一個重要進展。未來，該框架有望被應用於更廣泛的自動駕駛任務，如路徑規劃和行為預測，進一步推動自動駕駛技術的實用化。