BeyondSight：面向端到端自动驾驶的物体恒存性
BeyondSight 提出了一种具有物体恒存意识的端到端驾驶框架，通过维护持久的智能体假设，将智能体存在与可观察性解耦，从而在部分可观测环境中依然能够推理被遮挡的智能体。实验表明，该方法将不可观测智能体的检测 mAP 从 0 提升至 0.249，同时将规划误差 L2avg 从 0.61 降至 0.54。
自动驾驶系统通常运行在部分可观测的环境中，车辆、行人等动态智能体可能被其他车辆或基础设施完全遮挡。大多数端到端驾驶系统隐式地将智能体的存在与瞬间观测耦合，导致长时间遮挡时智能体假设退化甚至消失，从而将潜在的关键智能体从后续预测和规划中排除。这种设计缺陷在真实场景中可能导致严重的安全隐患，因为被遮挡的行人或车辆可能突然出现，而系统未能提前预测其存在。
为了解决这一问题，研究团队提出了 BeyondSight——一种具有物体恒存意识的端到端驾驶框架。该框架的核心思想是将智能体的存在与可观测性解耦，通过时间上传播智能体查询并利用观测条件证据进行更新，使得感知、预测和规划模块能够共同推理即使暂时不可见的智能体。具体而言，BeyondSight 维护一组持久化的智能体假设，这些假设随时间传播，并在每个时间步根据实际观测信息进行条件更新。这样，即使某个智能体被完全遮挡，其假设依然存在，并可以基于先前轨迹和场景上下文进行推理。
为了支持持久性模型的原理性训练与评估，团队还开发了 nuScenes-Permanence 数据集，它是 nuScenes 的扩展版本，为不可观测智能体提供了监督信号和基于可观测性的评估方法。该数据集不仅标注了可见智能体，还提供了被遮挡智能体的真实状态，使得模型可以在训练过程中学习维持假设。评估方法则区分可观测和不可观测情况，更全面地衡量系统在遮挡条件下的性能。
实验结果显示，BeyondSight 在遮挡推理方面取得了显著进步：不可观测智能体的检测平均精度（mAP）从 0 提升至 0.249，同时规划误差（L2 平均误差）从 0.61 降低至 0.54。这些结果突显了物体恒存性作为鲁棒端到端自动驾驶重要建模原则的价值。该论文已被 ECCV 2026 接收，作者来自多个机构，包括 Sandro Papais 等。未来的工作可以进一步探索持久化假设与更复杂场景理解的结合，以及在实际车辆上的部署验证。