自動駕駛與交通安全研究長期依賴真實道路視頻來理解行人與車輛之間的交互,但真實標註成本高昂且場景覆蓋有限。為繞開這一瓶頸,研究者開始嘗試完全在仿真環境中訓練模型,再將其部署到真實交通場景。然而合成到真實的遷移評測本身極具挑戰:模型必須在只見過虛擬場景的前提下,對真實道路中的複雜互動做出準確判斷。來自Blessing Agyei Kyem、Richard Dzinyela、Joshua Kofi Asamoah、Eugene Denteh、Andrews Danyo、Solomon Owusu-Ansah、Dickson Gyimah Asiedu與Armstrong Aboah的論文提出了StateBridge,一個專門為這種“僅合成訓練”協議設計的交通視頻-語言框架。
StateBridge的核心思路是不讓視覺-語言模型只依賴畫面的外觀線索,而是把穩定、可解釋的交通證據顯式地提供給模型。為此,框架採用三項互補設計。第一是階段感知的片段構建:將長視頻按照參與者行為所處的階段進行切分,使每個片段對應明確的交通行為語義,而不是任意的固定時長窗口。第二是行人與車輛軌跡摘要:從視頻中提取軌跡信息並壓縮為結構化表示,讓模型能夠把握參與者的運動趨勢和相互關係。第三是結構化提示:把這些階段與軌跡信息以規範化的提示形式輸入視覺-語言模型,引導其在推理時聚焦於交通證據本身。
在訓練與推理層面,研究團隊在公開的視覺-語言模型上使用合成的描述生成與視覺問答樣本進行微調。僅僅微調單模型並不足以保證輸出穩定,因此他們進一步引入兩種輸出組合機制。其一是事實鎖定式描述融合,通過約束讓融合後的描述不偏離可驗證的事實;其二是證據多樣化VQA共識,讓不同證據支持的答案相互印證,從而提升對參與者角色、行為階段以及不同題型的一致性。
實驗結果驗證了該方法的有效性。StateBridge在AI City Challenge 2026 Track 2上取得55.4679的官方S2分數,且訓練階段完全沒有使用真實數據。這一成績説明,結構化證據遷移能夠彌補合成與真實之間的域差距,為交通安全場景下的視頻描述與視覺問答提供了一條可行路線。論文共25頁、含5幅圖,屬於ECCV會議工作,arXiv編號為2610.31898,提交於2026年10月22日,歸入計算機視覺與模式識別(cs.CV)方向。