生成的モデルのエンドツーエンド自動運転への急速な導入は、新たな安全上の懸念を引き起こしている。新たな論文によれば、拡散ノイズ除去や語彙ベースの検索によって軌道をデコードする現在の主流手法は、いずれも共通の推論パターンを持っている。すなわち、固定された候補軌道群（アンカー、語彙エントリ、または提案クエリ）を、Bird's-Eye-View（BEV）特徴に基づいて1つ以上の学習済みヘッドがスコアリングし、最高スコアの候補を最終軌道として出力する。この設計では、スコアリングヘッドが知覚と運動指令の間の唯一の障壁であり、競合候補間の決定マージンはしばしば小さい。
この脆弱性を突くため、研究者らはDerailと呼ばれる敵対的フレームワークを提案した。この手法はスコアリングヘッドの攻撃面を悪用し、入力に巧妙に設計された敵対的摂動を注入することで、スコアリングヘッドが安全な軌道を低スコアと誤判定し、不安全な候補軌道を最終選択へと押し上げるように誘導する。複数の生成的プランナーでの実験により、Derailは軌道選択を安全から不安全へと安定して反転させ、スコアを39%から80%低下させ、衝突率を最大50%に達することが示された。一般的な損失最大化攻撃や特徴発散攻撃と比較して、その性能は著しく優れている。
論文はさらに、攻撃が有効である理由を分析している。その鍵は、攻撃の目的関数が単に予測誤差を最大化したり特徴空間を摂動させたりするのではなく、安全違反に直接焦点を当てて設計されている点にある。これは、生成的自動運転プランナーに対する敵対的攻撃が、安全面での結果を専門に考慮する必要があることを示唆している。著者らは、スコアリングヘッドという推論パターン自体が繰り返し現れる攻撃面であり、防御設計において明示的に考慮する価値があると強調している。本研究はarXivに掲載され、ロボティクス、暗号とセキュリティ、コンピュータビジョンの交叉領域に属し、全文23ページ、4つの図と9つの表を含む。
より広い意味では、この研究は業界に対し、生成的プランナーが軌道の多様性とデコード効率を追求する一方で、スコアリングヘッドの堅牢性を再検討する必要があると警告している。単一のスコアリングヘッドを安全の関門としてのみ依存することにはシステム的なリスクが伴う可能性があり、将来の防御戦略では、冗長なスコアリング、不確実性推定、または敵対的トレーニングなどを導入してこの部分を強化する必要があるだろう。