自動運転の強化学習において、完全な状態情報を持つ特権的な教師モデルから、部分観測しか得られない生徒モデルへ知識を蒸留する方法は重要な課題である。従来のGuided Soft Actor-Critic(GSAC)は固定の蒸留係数lambdaを使用しており、エージェントの不確実性を考慮していない。Mehmet HaklidirによるarXiv論文「適応的ガイダンスはいつ有効か?部分観測下の自動運転のための信念認識型特権蒸留」は、信念認識型GSAC(BA-GSAC)を提案し、適応的ガイダンスの実効性を体系的に調査している。
BA-GSACの核心は、アンサンブルモデルの予測不一致度を利用して蒸留係数lambdaを動的に調整する点にある。知覚の不確実性が高い場合には教師のガイダンスを強化し、逆に低い場合には弱める。著者はHighway-Env環境で3段階の部分観測マルコフ決定過程(POMDP)難易度を設定し、固定lambda(0.01と0.1)、適応lambda、線形減衰スケジュール、およびバニラSACの5戦略を比較した。単一シードでの予備実験では、軽度および中度の部分観測下で適応ガイダンスが性能を向上させることが示唆された。
しかし、深刻なオクルージョン環境では状況が一変する。全手法を3シードで評価した結果、適応係数は約3000ステップ以内に最小値lambda_minまで崩壊し、ガイダンスがほぼ無効化された。著者はこの現象を「観測性の盲点」と名付け、その原因を分析した。アンサンブルモデルは部分観測のみで予測を行うため、深刻なオクルージョン下でもメンバー間の予測不一致が低く抑えられる。つまり、見えている情報はうまくモデル化できるが、欠落している情報を検知できないのである。
この根本原因に対処するため、論文はアーキテクチャの修正案を提示する。ガイディングアクターの特権的アクセスを活用し、アンサンブルモデルに完全状態の予測を学習させることで、深刻なオクルージョン時にも意味のある不一致信号を生成できるようにする。この修正案は本論文では検証されていないが、既存の枠組みでもウォームアップ段階が測定可能な安定化効果をもたらすことを示している(変動係数CV=13.3%対固定lambda=0.01の29.8%)。
さらに意外なことに、単純な決定論的線形減衰スケジュールが、深刻なPOMDPシナリオにおいて全指標で最良の性能を達成した(平均116.5、CV=8.9%)。この結果は、安定性の向上がアンサンブルによる適応メカニズムではなく、スケジューリング効果そのものに起因することを強く示唆している。論文は、不確実性認識型の教師-生徒フレームワークを設計する際には、アンサンブルの予測ターゲットが重要な設計選択であると強調し、適応ガイダンスの採用前に様々な観測条件下での有効性を慎重に評価する必要があると警鐘を鳴らしている。本研究はCVPR 2026自動運転ワークショップ(WAD)に採択されており、今後の研究に実践的な指針を与えるものである。