自動駕駛系統通常執行在部分可觀測的環境中，車輛、行人等動態智慧體可能被其他車輛或基礎設施完全遮擋。大多數端到端駕駛系統隱式地將智慧體的存在與瞬間觀測耦合，導致長時間遮擋時智慧體假設退化甚至消失，從而將潛在的關鍵智慧體從後續預測和規劃中排除。這種設計缺陷在真實場景中可能導致嚴重的安全隱患，因為被遮擋的行人或車輛可能突然出現，而系統未能提前預測其存在。
為了解決這一問題，研究團隊提出了 BeyondSight——一種具有物體恆存意識的端到端駕駛框架。該框架的核心思想是將智慧體的存在與可觀測性解耦，透過時間上傳播智慧體查詢並利用觀測條件證據進行更新，使得感知、預測和規劃模組能夠共同推理即使暫時不可見的智慧體。具體而言，BeyondSight 維護一組持久化的智慧體假設，這些假設隨時間傳播，並在每個時間步根據實際觀測資訊進行條件更新。這樣，即使某個智慧體被完全遮擋，其假設依然存在，並可以基於先前軌跡和場景上下文進行推理。
為了支援永續性模型的原理性訓練與評估，團隊還開發了 nuScenes-Permanence 資料集，它是 nuScenes 的擴充套件版本，為不可觀測智慧體提供了監督訊號和基於可觀測性的評估方法。該資料集不僅標註了可見智慧體，還提供了被遮擋智慧體的真實狀態，使得模型可以在訓練過程中學習維持假設。評估方法則區分可觀測和不可觀測情況，更全面地衡量系統在遮擋條件下的效能。
實驗結果顯示，BeyondSight 在遮擋推理方面取得了顯著進步：不可觀測智慧體的檢測平均精度（mAP）從 0 提升至 0.249，同時規劃誤差（L2 平均誤差）從 0.61 降低至 0.54。這些結果突顯了物體恆存性作為魯棒端到端自動駕駛重要建模原則的價值。該論文已被 ECCV 2026 接收，作者來自多個機構，包括 Sandro Papais 等。未來的工作可以進一步探索持久化假設與更復雜場景理解的結合，以及在實際車輛上的部署驗證。