在自动驾驶领域,从海量未标注数据中找出真正复杂、与安全密切相关的驾驶场景,一直是一项成本高昂的难题。目前主流做法依赖人工标注、有监督分类器或精心设计的规则集,而这些方法都建立在一个前提之上:人类已经清楚什么样的场景才算困难。arXiv 上的一篇新论文提出了一个更激进的问题——模型能否在完全没有标签的情况下自行发现场景复杂度?作者 Santosh Jaiswal 给出的答案是肯定的。
研究团队采用了一种极简的联合嵌入预测架构(Joint Embedding Predictive Architecture,JEPA)。与直接预测像素或原始状态不同,JEPA 在潜空间中学习世界模型:编码器把智能体状态映射为嵌入表示,预测器根据历史嵌入推断未来的嵌入,而时间预测误差则被直接用作场景复杂度的零样本评分。训练仅使用 nuPlan mini 数据集中的结构化智能体状态数据,在训练和评估的设计阶段都没有接触任何真实标签。
结果显示出清晰的规律:模型对涉及未受保护转弯、人行横道交互以及行人接近的场景给出显著更高的分数,而对简单的车道保持和静止车流场景给出显著更低的分数。换言之,预测误差的大小在没有任何监督信号的情况下,与人类直觉上的场景难度高度吻合。
为确认信号并非由数据格式或实现细节偶然产生,作者进行了四项消融实验,逐一隔离并检验误差来源。此外,研究还开展了一项下游异常检测评估,最终取得 0.512 的平均精度,而随机基线的平均精度为 0.436,说明该复杂度评分在真实任务中具有实用价值。
这项工作发表于 2026 年 6 月 21 日,共 12 页、6 幅图,属于计算机视觉与模式识别(cs.CV)以及机器学习(cs.LG)交叉方向。其意义在于,自监督潜空间世界模型中的时间预测误差可以作为一种实用的驾驶场景复杂度代理指标,从而大幅降低数据筛选与安全验证的成本,为后续在更大规模数据集上的应用提供了可行路径。