黑暗中詢問：部分可觀測性下基於不確定性的LLM輔助
本文提出ASK+方法，透過為小語言模型提供軌跡感知上下文和結構化思維鏈推理，顯著提升了部分可觀測環境下強化學習代理的效能。實驗表明，ASK+在DoorKey、FourRooms等任務中超越基線，且提示設計比模型規模更重要。
在部分可觀測的環境下，強化學習（RL）代理只能依據不完整的資訊做出決策。小語言模型（SLM）因其廣泛的世界知識，本可為這些代理提供有價值的指導。然而，簡單的基於不確定性的門控機制——即當代理不確定時才諮詢SLM——在實踐中幾乎從不觸發，導致SLM的覆蓋率為零。研究者們發現，問題不在於SLM的能力，而在於輸入給模型的提示過於簡單，只提供了自我中心的視角，缺乏足夠的上下文資訊。
為了解決這一“上下文問題”，研究人員提出了ASK+方法。ASK+為SLM提供了軌跡感知的上下文，包括部分揭示的地圖、已訪問的位置和動作歷史，並引導其進行結構化的思維鏈推理。這使得SLM從一個被動的冗餘檢查器轉變為一個更有資訊量的顧問，能夠偶爾糾正RL代理的策略。此外，ASK+還驗證了用於選擇性查詢的預測熵訊號衡量的是動作不確定性而非狀態不確定性，因此在部分可觀測馬爾可夫決策過程（POMDP）中依然有效。
實驗結果表明，ASK+在多個基準任務上帶來了顯著提升。在DoorKey環境中，原始的ASK與PPO效能持平（均為89%），而ASK+達到了93%的成功率；在FourRooms中，成功率從53%提升至70%；在HigherLower中，準確率達到73.7%，追平了SLM單獨推理的上限。值得注意的是，在所有環境中，Qwen3.5-2B模型的表現都達到甚至超過了Qwen3.5-4B模型，這證實了提示設計和選擇性門控機制遠比模型規模更重要——即使沒有大模型，也能提供有效的指導。
這項研究揭示了將語言模型整合到RL中的一個關鍵原則：上下文的質量比模型的大小更能決定成敗。ASK+的成功表明，透過精心設計提示和門控策略，小模型也能在複雜、部分可觀測的環境中發揮重要作用，為構建更智慧、更高效的AI系統提供了新的思路。