自動運転システムは、他の車両やインフラによって動的なアクターが完全に遮蔽される可能性がある部分観測環境で動作します。多くのエンドツーエンド運転システムは、アクターの存在を瞬間的な観測と暗に結合しているため、長時間の遮蔽中にアクター仮説が劣化または消失し、潜在的に重要なエージェントが後続の予測や計画から除外されてしまいます。この設計上の欠陥は、遮蔽された歩行者や車両が突然現れた場合に深刻な安全上のリスクをもたらす可能性があります。
この問題に対処するため、研究チームはBeyondSightを提案しました。これは、オブジェクト永続性を意識したエンドツーエンド運転フレームワークであり、時間的にアクタークエリを伝播させ、観測条件付き証拠で更新することで、アクターの存在と観測可能性を切り離します。これにより、知覚、予測、計画が連携して、一時的に観測不能なアクターについても推論できるようになります。具体的には、BeyondSightは永続的なアクター仮説のセットを維持し、各タイムステップで実際の観測情報に基づいて条件付き更新を行います。これにより、アクターが完全に遮蔽されても仮説は存続し、以前の軌跡やシーンコンテキストに基づいた推論が可能です。
さらに、永続性を考慮したモデルの原理的な訓練と評価を可能にするため、nuScenes-Permanenceデータセットも導入されました。これはnuScenesの拡張版で、観測不可能なアクターに対する教師信号と観測可能性条件付き評価を提供します。このデータセットは可視アクターだけでなく、遮蔽されたアクターの真の状態もアノテーションしており、モデルが訓練中に仮説を維持することを学習できます。評価方法は可観測状況と不可観測状況を区別し、遮蔽条件下でのシステム性能をより包括的に測定します。
実験では、BeyondSightが遮蔽下での推論を大幅に改善し、観測不可能なアクターの検出平均精度（mAP）を0から0.249に向上させ、計画誤差（L2平均誤差）を0.61から0.54に低減しました。これらの結果は、オブジェクト永続性が堅牢なエンドツーエンド自動運転の重要なモデリング原理であることを示しています。本論文はECCV 2026に採択されており、著者はSandro Papaisら複数の機関に所属しています。今後の研究では、永続的仮説とより複雑なシーン理解の統合、および実際の車両への展開検証が期待されます。