跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

StateBridge:面向合成到真實交通影片描述與VQA的階段與軌跡錨定推理

文章摘要

StateBridge是面向交通安全影片的視覺-語言框架,僅用合成資料訓練,透過階段感知片段構建、行人與車輛軌跡摘要和結構化提示實現合成到真實的證據遷移,並在AI City Challenge 2026 Track 2取得55.4679的官方S2分數。

來源arXiv Computer Vision作者: Blessing Agyei Kyem, Richard Dzinyela, Joshua Kofi Asamoah, Eugene Denteh, Andrews Danyo, Solomon Owusu-Ansah, Dickson Gyimah Asiedu, Armstrong Aboah
StateBridge:面向合成到真實交通影片描述與VQA的階段與軌跡錨定推理
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自動駕駛與交通安全研究長期依賴真實道路影片來理解行人與車輛之間的互動,但真實標註成本高昂且場景覆蓋有限。為繞開這一瓶頸,研究者開始嘗試完全在模擬環境中訓練模型,再將其部署到真實交通場景。然而合成到真實的遷移評測本身極具挑戰:模型必須在只見過虛擬場景的前提下,對真實道路中的複雜互動做出準確判斷。來自Blessing Agyei Kyem、Richard Dzinyela、Joshua Kofi Asamoah、Eugene Denteh、Andrews Danyo、Solomon Owusu-Ansah、Dickson Gyimah Asiedu與Armstrong Aboah的論文提出了StateBridge,一個專門為這種“僅合成訓練”協議設計的交通影片-語言框架。

StateBridge的核心思路是不讓視覺-語言模型只依賴畫面的外觀線索,而是把穩定、可解釋的交通證據顯式地提供給模型。為此,框架採用三項互補設計。第一是階段感知的片段構建:將長影片按照參與者行為所處的階段進行切分,使每個片段對應明確的交通行為語義,而不是任意的固定時長視窗。第二是行人與車輛軌跡摘要:從影片中提取軌跡資訊並壓縮為結構化表示,讓模型能夠把握參與者的運動趨勢和相互關係。第三是結構化提示:把這些階段與軌跡資訊以規範化的提示形式輸入視覺-語言模型,引導其在推理時聚焦於交通證據本身。

在訓練與推理層面,研究團隊在公開的視覺-語言模型上使用合成的描述生成與視覺問答樣本進行微調。僅僅微調單模型並不足以保證輸出穩定,因此他們進一步引入兩種輸出組合機制。其一是事實鎖定式描述融合,透過約束讓融合後的描述不偏離可驗證的事實;其二是證據多樣化VQA共識,讓不同證據支援的答案相互印證,從而提升對參與者角色、行為階段以及不同題型的一致性。

實驗結果驗證了該方法的有效性。StateBridge在AI City Challenge 2026 Track 2上取得55.4679的官方S2分數,且訓練階段完全沒有使用真實資料。這一成績說明,結構化證據遷移能夠彌補合成與真實之間的域差距,為交通安全場景下的影片描述與視覺問答提供了一條可行路線。論文共25頁、含5幅圖,屬於ECCV會議工作,arXiv編號為2610.31898,提交於2026年10月22日,歸入計算機視覺與模式識別(cs.CV)方向。

展開要點與分析

文章情報

工程師進階

要點

  • 僅使用合成訓練資料即取得AI City Challenge 2026 Track 2官方S2分數55.4679
  • 透過階段感知片段構建與軌跡摘要,將模型錨定在穩定的交通證據而非僅外觀特徵上
  • 採用事實鎖定式描述融合與證據多樣化VQA共識提升角色、行為階段與題型間的一致性

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

StateBridge:面向合成到真實交通影片描述與VQA的階段與軌跡錨定推理 | AI News Hub