这篇于2026年6月23日提交到arXiv的论文（编号2606.24064，属于cs.AI方向）由Tianyuan Shi等共七位作者完成，题为《超越轨迹模仿：面向大语言模型推理的策略引导策略优化》（Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning）。论文关注的核心问题是：如何更有效地把强语言模型的推理能力迁移给较弱的模型。
作者指出，以往从强模型向弱模型蒸馏推理能力的常见做法，是让弱模型模仿强模型给出的具体解题轨迹。这种方式本质上传递的是“该给出什么答案”，而不是“该如何推理”。由于模仿停留在轨迹层面，模型容易记住针对具体实例的步骤，而不是掌握可迁移的解题技能，因此面对新问题时泛化能力受限。
为此，作者提出策略引导策略优化（Strategy-Guided Policy Optimization，简称SGPO），用可复用的“策略”蒸馏取代实例级的轨迹模仿。SGPO首先从强模型的回答中抽取结构化的策略描述，然后针对每一道题同时构造两条轨迹：一条由模型自主生成，另一条在策略引导下生成。这样就能直接对比模型在有无策略提示时的行为差异。
该框架围绕两个关键问题展开。其一是“如何蒸馏”：作者采用token级的前向KL目标，有选择地把策略条件所引发的分布偏移迁移到无引导的策略中，同时引入近端约束以保证训练稳定。其二是“何时蒸馏”：通过自适应的实例级加权，当模型自主探索表现不足时加强引导，而随着模型自身能力提升则逐步减少引导。
实验方面，作者在两个模型家族的四个数学基准上进行了评测。结果显示，SGPO稳定优于监督微调（SFT）、同策略强化学习（on-policy RL）以及混合策略等基线方法；在Qwen2.5-7B-Instruct上，其平均得分比最强基线高出2.2分。分析表明，前向KL目标提供了一种天然具有选择性的蒸馏信号，效果优于直接模仿轨迹；同时，策略蒸馏与基础模型能力之间呈现出互补的扩展关系。
论文提交于2026年6月23日02:14:12 UTC，全文约378 KB，属于arXiv的cs.AI分类，DOI为10.48550/arXiv.2606.24064，由DataCite发放（待注册）。读者可通过PDF、实验性HTML以及TeX源码等方式获取全文。