対話型LLMエージェントを蒸留する際には、教師モデルが生成したデモンストレーションを使うか、生徒モデル自身が生成した経験を使うかという選択が生じる。これはおおまかにオフポリシー蒸留とオンポリシー蒸留に対応する。両手法の有効性はこれまで示されてきたが、arXivに投稿された論文「Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?」は、この区別が本質的に階層的であると指摘する。すなわち、対話履歴を誘導するポリシーと、現在の行動のトークン接頭辞を生成するポリシーは、必ずしも同一である必要はない。
著者らはこの問題に対し、エージェント蒸留を階層的に捉えるフレームワークを導入した。この枠組みでは「オンライン度」を2つの階層として形式化し、両者のペアリング、混合比率、訓練スケジュールを明示的に制御できる。研究は自己蒸留の設定で行われ、固定された教師モデルは生徒モデルには与えられないタスク guidance にアクセスできる。著者らは3つのモデルと4つの対話環境にわたる3段階の制御実験を実施した。
実験結果から、いくつかの実践的な知見が得られている。まず、単独の訓練信号としては、生徒モデルが誘導した履歴と教師モデルが生成した行動接頭辞を組み合わせる構成が一般に最も強い性能を示した。一方、履歴と行動接頭辞の両方で生徒モデルに従う構成は、一般に最も悪い性能となった。
ただし、完全にオンポリシーなデータが無意味というわけではない。他の構成との混合データに組み込むと、完全オンポリシーデータは有益になる。さらに重要なのは、2つの階層のペアリングの仕方そのものが性能に影響するという点である。各階層で教師と生徒の比率が同一であっても、最終的な性能は大きく異なりうる。これは、オンポリシーデータの総量だけでなく、どの階層でどのように組み合わせるかが重要であることを示している。
訓練の順序もまた重要である。論文では、完全に教師が生成したコンテキストを前半に集中させ、完全オンポリシーなコンテキストを後半に遅らせるスケジュールが、静的な混合よりも優れることが示された。これらの知見は、エージェント蒸留において「どこで、どれだけ、いつ生徒に従うか」を意識的に設計するための実践的原則を提供している。