LLM 智能體（agent）的蒸餾長期被簡化為一個二選一的問題：用教師模型生成的示範，還是用學生模型自己產生的交互經驗。這兩條路線大致對應離線策略（off-policy）與在策略（on-policy）蒸餾，二者都已被證明有效。但 arXiv 論文《Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?》指出，這種二分法本身忽略了一個層次結構。作者主張，“在策略程度”至少應拆成兩個層面：一層決定交互歷史由哪一方產生，另一層決定當前動作的 token 前綴由哪一方生成。這兩層並不必然使用同一個策略，因此可以獨立選擇、自由搭配。
圍繞這一觀察，論文提出了一個分層的智能體蒸餾框架，把上述兩個層面的在策略性顯式形式化，並允許研究者控制它們的配對方式、混合比例以及訓練日程。為了在可控條件下研究該問題，作者採用自蒸餾（self-distillation）設定：教師模型是凍結的，並且擁有學生模型無法獲得的任務指導信息，從而模擬“教師更強、學生需學習”的典型場景。實驗設計為三階段對照研究，覆蓋三個模型和四個交互式環境，規模上足以檢驗不同配置的穩定性。
研究給出的第一條結論較為反直覺：在單獨訓練時，最強的信號通常來自“學生誘導的交互歷史”搭配“教師生成的動作前綴”。也就是説，讓歷史由學生自己探索產生，但在生成具體動作時以教師的高質量前綴為引導。相對地，如果兩個層面都完全跟隨學生，即完全在策略，效果普遍最差。這提示在策略數據並非越多越好，歷史與動作層面的來源需要區別對待。
不過，完全在策略的數據並非沒有價值。作者發現，當把它作為混合配置的一部分而非單獨使用引入時，它能帶來收益。更值得注意的是，即便兩個層面上的教師/學生比例完全相同，不同的配對方式也會導致顯著不同的性能。這説明“有多少在策略數據”並不是唯一關鍵，“在策略數據出現在哪個層面、如何與教師數據配對”同樣重要。
最後，訓練日程也影響結果。論文發現，把完全由教師生成的上下文放在訓練前期、將完全在策略的上下文推遲到後期，比靜態混合更能提升表現。綜合這些發現，作者為智能體蒸餾提供了可操作的實踐原則：應回答在哪裏跟隨學生、跟隨多少、以及在什麼時候跟隨，而不是僅在整體上選擇在策略或離線策略。