黑暗中询问：部分可观测性下基于不确定性的LLM辅助
本文提出ASK+方法，通过为小语言模型提供轨迹感知上下文和结构化思维链推理，显著提升了部分可观测环境下强化学习代理的性能。实验表明，ASK+在DoorKey、FourRooms等任务中超越基线，且提示设计比模型规模更重要。
在部分可观测的环境下，强化学习（RL）代理只能依据不完整的信息做出决策。小语言模型（SLM）因其广泛的世界知识，本可为这些代理提供有价值的指导。然而，简单的基于不确定性的门控机制——即当代理不确定时才咨询SLM——在实践中几乎从不触发，导致SLM的覆盖率为零。研究者们发现，问题不在于SLM的能力，而在于输入给模型的提示过于简单，只提供了自我中心的视角，缺乏足够的上下文信息。
为了解决这一“上下文问题”，研究人员提出了ASK+方法。ASK+为SLM提供了轨迹感知的上下文，包括部分揭示的地图、已访问的位置和动作历史，并引导其进行结构化的思维链推理。这使得SLM从一个被动的冗余检查器转变为一个更有信息量的顾问，能够偶尔纠正RL代理的策略。此外，ASK+还验证了用于选择性查询的预测熵信号衡量的是动作不确定性而非状态不确定性，因此在部分可观测马尔可夫决策过程（POMDP）中依然有效。
实验结果表明，ASK+在多个基准任务上带来了显著提升。在DoorKey环境中，原始的ASK与PPO性能持平（均为89%），而ASK+达到了93%的成功率；在FourRooms中，成功率从53%提升至70%；在HigherLower中，准确率达到73.7%，追平了SLM单独推理的上限。值得注意的是，在所有环境中，Qwen3.5-2B模型的表现都达到甚至超过了Qwen3.5-4B模型，这证实了提示设计和选择性门控机制远比模型规模更重要——即使没有大模型，也能提供有效的指导。
这项研究揭示了将语言模型集成到RL中的一个关键原则：上下文的质量比模型的大小更能决定成败。ASK+的成功表明，通过精心设计提示和门控策略，小模型也能在复杂、部分可观测的环境中发挥重要作用，为构建更智能、更高效的AI系统提供了新的思路。