暗闇でのASK：部分観測下における不確実性ゲート型LLM支援

部分観測環境下で動作する強化学習（RL）エージェントは、不完全な情報に基づいて行動する必要がある。このような環境では、幅広い推論の事前知識を持つ小規模言語モデル（SLM）がガイダンスを提供する理想的な候補となる。しかし、単純な不確実性ゲート方式——エージェントが不確かな場合にのみSLMに問い合わせる——は、実際にはほとんど機能せず、SLMの上書き率はほぼゼロである。研究者らは、この失敗の原因をSLMの能力不足ではなく、提示されるプロンプトの文脈不足にあると特定した。裸の自己中心的なプロンプトでは、真の推論に必要な文脈が欠けているのである。

この「文脈問題」を解決するために、ASK+が提案された。ASK+はSLMに対して、部分的に明らかになった地図、訪問済み位置、行動履歴などの軌跡認識コンテキストを提供し、構造化されたチェーン・オブ・ソート推論を促す。これにより、SLMは受動的な冗長性チェッカーから、時には方針を修正する情報豊かなコンサルタントへと変貌する。さらに、選択的問い合わせに使用される予測エントロピー信号が状態不確実性ではなく行動不確実性を測定し、部分観測マルコフ決定過程（POMDP）においても有用であることが確認された。

実験結果は、ASK+が複数のベンチマークタスクで大幅な改善をもたらすことを示している。DoorKey環境では、元のASKがPPOと同等（ともに89%）だったのに対し、ASK+は93%の成功率を達成。FourRoomsでは成功率が53%から70%に上昇し、HigherLowerでは精度が73.7%に達し、SLM単独の上限に並んだ。全環境において、Qwen3.5-2BモデルはQwen3.5-4Bモデルに匹敵するかを上回る性能を示し、プロンプト設計と選択的ゲーティングがモデル規模の影響を凌駕することを確認した。この結果は、大規模モデルを必要とせずとも効果的なガイダンスが可能であることを示している。

本研究は、言語モデルをRLに統合する際の重要な原則を明らかにした。つまり、文脈の質がモデルのサイズよりも成否を左右するのである。ASK+の成功は、適切なプロンプト設計とゲーティング戦略により、小規模モデルでも複雑な部分観測環境で重要な役割を果たし得ることを示しており、より賢く効率的なAIシステムの構築への道を開くものである。