跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于联合嵌入预测架构的零标签驾驶场景复杂度检测

文章摘要

该论文提出一种无需任何标签的驾驶场景复杂度检测方法:在 nuPlan mini 数据集上训练一个极简 JEPA 世界模型,利用时间预测误差作为复杂度评分,在未受保护转弯、人行横道交互等场景上显著更高,并在异常检测中取得优于随机基线的表现。

来源arXiv Computer Vision作者: Santosh Jaiswal
基于联合嵌入预测架构的零标签驾驶场景复杂度检测
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在自动驾驶领域,从海量未标注数据中找出真正复杂、与安全密切相关的驾驶场景,一直是一项成本高昂的难题。目前主流做法依赖人工标注、有监督分类器或精心设计的规则集,而这些方法都建立在一个前提之上:人类已经清楚什么样的场景才算困难。arXiv 上的一篇新论文提出了一个更激进的问题——模型能否在完全没有标签的情况下自行发现场景复杂度?作者 Santosh Jaiswal 给出的答案是肯定的。

研究团队采用了一种极简的联合嵌入预测架构(Joint Embedding Predictive Architecture,JEPA)。与直接预测像素或原始状态不同,JEPA 在潜空间中学习世界模型:编码器把智能体状态映射为嵌入表示,预测器根据历史嵌入推断未来的嵌入,而时间预测误差则被直接用作场景复杂度的零样本评分。训练仅使用 nuPlan mini 数据集中的结构化智能体状态数据,在训练和评估的设计阶段都没有接触任何真实标签。

结果显示出清晰的规律:模型对涉及未受保护转弯、人行横道交互以及行人接近的场景给出显著更高的分数,而对简单的车道保持和静止车流场景给出显著更低的分数。换言之,预测误差的大小在没有任何监督信号的情况下,与人类直觉上的场景难度高度吻合。

为确认信号并非由数据格式或实现细节偶然产生,作者进行了四项消融实验,逐一隔离并检验误差来源。此外,研究还开展了一项下游异常检测评估,最终取得 0.512 的平均精度,而随机基线的平均精度为 0.436,说明该复杂度评分在真实任务中具有实用价值。

这项工作发表于 2026 年 6 月 21 日,共 12 页、6 幅图,属于计算机视觉与模式识别(cs.CV)以及机器学习(cs.LG)交叉方向。其意义在于,自监督潜空间世界模型中的时间预测误差可以作为一种实用的驾驶场景复杂度代理指标,从而大幅降低数据筛选与安全验证的成本,为后续在更大规模数据集上的应用提供了可行路径。

展开要点与分析

文章情报

工程师进阶

要点

  • 用 JEPA 潜空间世界模型的时间预测误差作为零样本复杂度评分,训练与评估全程不使用任何标签。
  • 在未受保护转弯、人行横道交互、行人接近等场景上得分显著偏高,车道保持与静止车流场景得分显著偏低。
  • 四项消融实验定位了信号来源,下游异常检测平均精度达到 0.512,高于 0.436 的随机基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。