LLM 智能体（agent）的蒸馏长期被简化为一个二选一的问题：用教师模型生成的示范，还是用学生模型自己产生的交互经验。这两条路线大致对应离线策略（off-policy）与在策略（on-policy）蒸馏，二者都已被证明有效。但 arXiv 论文《Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?》指出，这种二分法本身忽略了一个层次结构。作者主张，“在策略程度”至少应拆成两个层面：一层决定交互历史由哪一方产生，另一层决定当前动作的 token 前缀由哪一方生成。这两层并不必然使用同一个策略，因此可以独立选择、自由搭配。
围绕这一观察，论文提出了一个分层的智能体蒸馏框架，把上述两个层面的在策略性显式形式化，并允许研究者控制它们的配对方式、混合比例以及训练日程。为了在可控条件下研究该问题，作者采用自蒸馏（self-distillation）设定：教师模型是冻结的，并且拥有学生模型无法获得的任务指导信息，从而模拟“教师更强、学生需学习”的典型场景。实验设计为三阶段对照研究，覆盖三个模型和四个交互式环境，规模上足以检验不同配置的稳定性。
研究给出的第一条结论较为反直觉：在单独训练时，最强的信号通常来自“学生诱导的交互历史”搭配“教师生成的动作前缀”。也就是说，让历史由学生自己探索产生，但在生成具体动作时以教师的高质量前缀为引导。相对地，如果两个层面都完全跟随学生，即完全在策略，效果普遍最差。这提示在策略数据并非越多越好，历史与动作层面的来源需要区别对待。
不过，完全在策略的数据并非没有价值。作者发现，当把它作为混合配置的一部分而非单独使用引入时，它能带来收益。更值得注意的是，即便两个层面上的教师/学生比例完全相同，不同的配对方式也会导致显著不同的性能。这说明“有多少在策略数据”并不是唯一关键，“在策略数据出现在哪个层面、如何与教师数据配对”同样重要。
最后，训练日程也影响结果。论文发现，把完全由教师生成的上下文放在训练前期、将完全在策略的上下文推迟到后期，比静态混合更能提升表现。综合这些发现，作者为智能体蒸馏提供了可操作的实践原则：应回答在哪里跟随学生、跟随多少、以及在什么时候跟随，而不是仅在整体上选择在策略或离线策略。