自动驾驶与交通安全研究长期依赖真实道路视频来理解行人与车辆之间的交互,但真实标注成本高昂且场景覆盖有限。为绕开这一瓶颈,研究者开始尝试完全在仿真环境中训练模型,再将其部署到真实交通场景。然而合成到真实的迁移评测本身极具挑战:模型必须在只见过虚拟场景的前提下,对真实道路中的复杂互动做出准确判断。来自Blessing Agyei Kyem、Richard Dzinyela、Joshua Kofi Asamoah、Eugene Denteh、Andrews Danyo、Solomon Owusu-Ansah、Dickson Gyimah Asiedu与Armstrong Aboah的论文提出了StateBridge,一个专门为这种“仅合成训练”协议设计的交通视频-语言框架。
StateBridge的核心思路是不让视觉-语言模型只依赖画面的外观线索,而是把稳定、可解释的交通证据显式地提供给模型。为此,框架采用三项互补设计。第一是阶段感知的片段构建:将长视频按照参与者行为所处的阶段进行切分,使每个片段对应明确的交通行为语义,而不是任意的固定时长窗口。第二是行人与车辆轨迹摘要:从视频中提取轨迹信息并压缩为结构化表示,让模型能够把握参与者的运动趋势和相互关系。第三是结构化提示:把这些阶段与轨迹信息以规范化的提示形式输入视觉-语言模型,引导其在推理时聚焦于交通证据本身。
在训练与推理层面,研究团队在公开的视觉-语言模型上使用合成的描述生成与视觉问答样本进行微调。仅仅微调单模型并不足以保证输出稳定,因此他们进一步引入两种输出组合机制。其一是事实锁定式描述融合,通过约束让融合后的描述不偏离可验证的事实;其二是证据多样化VQA共识,让不同证据支持的答案相互印证,从而提升对参与者角色、行为阶段以及不同题型的一致性。
实验结果验证了该方法的有效性。StateBridge在AI City Challenge 2026 Track 2上取得55.4679的官方S2分数,且训练阶段完全没有使用真实数据。这一成绩说明,结构化证据迁移能够弥补合成与真实之间的域差距,为交通安全场景下的视频描述与视觉问答提供了一条可行路线。论文共25页、含5幅图,属于ECCV会议工作,arXiv编号为2610.31898,提交于2026年10月22日,归入计算机视觉与模式识别(cs.CV)方向。