在自动驾驶的强化学习研究中,如何将拥有全状态信息的特权教师模型的知识有效地蒸馏给只能获得部分观测的学生模型,一直是一个核心挑战。传统的引导软演员-评论家(GSAC)方法采用固定的蒸馏系数lambda,忽略了智能体自身的不确定性。为此,Mehmet Haklidir在arXiv上发表的论文《自适应引导何时真正有用?面向部分可观测自动驾驶的信念感知特权蒸馏》中,提出了信念感知GSAC(BA-GSAC),并以此为基础系统探究了自适应引导的实际效用边界。
BA-GSAC的核心创新在于利用集成模型的分歧度来动态调整蒸馏系数lambda。当智能体对环境的信念不确定性较高时,适当增大教师引导的权重,反之则减小。作者在Highway-Env仿真环境中,针对部分可观测马尔可夫决策过程(POMDP)设置了三个难度等级,比较了五种策略:固定lambda(0.01和0.1)、自适应lambda、线性衰减调度以及原版SAC。初步的单种子实验显示,在轻微和中度部分可观测条件下,自适应引导确实带来了性能提升。
然而,当环境恶化到严重遮挡时,情况发生了逆转。在采用三个随机种子对所有方法进行严格评估后,自适应系数在约3000步内迅速坍缩至预设的最小值lambda_min,导致引导几乎失效。作者深入分析了这一现象,将其归因于“可观测性盲区”:由于集成模型仅基于部分观测进行预测,即使在严重遮挡下,其内部各成员之间的预测分歧仍然很低——模型能够很好地拟合可见部分,却无法感知缺失的信息,从而低估了真实的不确定性。
为了从根源上解决该问题,论文提出了一种架构层面的修正方案:利用引导演员的特权访问能力,让集成模型学习预测全状态信息,从而在严重遮挡时也能产生有意义的分歧信号。尽管这一修正方案尚未在实验中得到验证,但作者指出现有框架的预热阶段已经能提供可测量的稳定性收益——变异系数(CV)为13.3%,而固定lambda=0.01时为29.8%。
更令人意外的是,一个简单的确定性线性衰减调度在所有评估指标上均取得了严重POMDP场景下的最佳性能,平均回报为116.5,CV低至8.9%。这一结果强烈暗示,稳定性的提升主要源自调度效应本身,而非集成模型的自适应机制。论文因此强调,在设计不确定性感知的教师-学生框架时,集成模型的预测目标是一个至关重要的设计选择,并提醒研究者在采用自适应引导前需审慎评估其在不同观测条件下的有效性。该工作被CVPR 2026自动驾驶研讨会(WAD)接收,为后续研究提供了宝贵的实践指导。