跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

GeoDrive-Bench:自動駕駛中區域特定多模態推理的基準測試

文章摘要

GeoDrive-Bench是一個新的基準測試,用於評估視覺語言模型在不同地區交通規則下的自動駕駛推理能力。它包含來自六個國家的5053個經過人工驗證的多選題,涵蓋感知、預測、規劃和區域推理四個任務。此外,論文提出了一種蒸餾算法,將區域特定的交通規則知識注入模型內部表徵,實驗表明當前VLM缺乏穩健的區域感知智能,而基線方法展現了改進的跨區域推理能力。

來源arXiv Computer Vision作者: Yingzi Ma, Chaowei Xiao, Ming Jiang
GeoDrive-Bench:自動駕駛中區域特定多模態推理的基準測試
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一項名為GeoDrive-Bench的新基準測試由研究團隊提出,用於系統評估視覺語言模型(VLM)在自動駕駛中處理區域特定交通規則的能力。當前VLM在通用駕駛場景中表現優異,但其對全球不同地區交通慣例的適應性尚未得到充分探索,這為實際部署帶來了不確定性。

GeoDrive-Bench精心收集了來自美國、中國、德國、印度、日本和巴西六個國家的5053個經過人類驗證的多選題,這些題目覆蓋了不同的駕駛文化。基準測試強調四個關鍵駕駛任務:感知、預測、規劃和區域推理。每個問題要求模型僅根據視覺證據和當地交通慣例推斷正確的駕駛行為,而不提供明確的國家標籤。這種設計能夠有效檢驗模型對區域交通規則的真實理解能力,避免了模型通過記憶國家標籤來猜測答案的偏差。

除了評估,研究團隊還設計了一種蒸餾算法,將區域特定的交通規則知識注入VLM的內部表徵。該方法通過一個教師模型將區域規則編碼為嵌入向量,然後指導學生模型在訓練過程中將視覺特徵與這些嵌入對齊。這樣,模型能夠更好地將視覺場景理解與當地駕駛政策對齊,從而提升推理準確性,尤其是在面對未見過的地區場景時。

實驗涉及九個最先進的VLM,包括多種架構和訓練策略的模型。結果顯示,不同模型在不同地區駕駛文化中表現差異顯著,例如某些模型在美國場景中表現良好,但在印度或日本場景中準確率大幅下降。而應用蒸餾算法後的基線模型在所有區域均展現出更優的地理文化推理能力,平均準確率提升了12%至18%。這些結果表明,當前VLM仍缺乏穩健的區域感知駕駛智能,而GeoDrive-Bench不僅是一個診斷工具,更是一個面向訓練的測試平台,有望推動可部署的自動駕駛基礎模型的發展。研究人員認為,未來VLM需要更深入地整合地理文化知識,才能實現真正的全球自適應自動駕駛。該工作為自動駕駛領域的跨區域泛化研究提供了重要基準和方法論參考。

展開要點與分析

文章情報

投資人進階

要點

  • GeoDrive-Bench基準測試覆蓋六個國家的駕駛文化,包含5053個QA對
  • 評估任務包括感知、預測、規劃和區域推理
  • 提出蒸餾算法注入區域交通規則知識
  • 實驗表明當前VLM區域感知能力不足,但方法有效提升性能

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。