对齐、模型生物和玩具模型之间的共享SFT教训
该研究探讨了将监督微调（SFT）中的经验教训在不同研究领域之间转移的可能性，包括对齐训练、模型生物和玩具模型。通过三个实验，作者证明了行为泛化、能力保留和鲁棒性方面的教训可以跨领域应用，并建议研究人员应借鉴其他领域的技术。
监督微调（SFT）是机器学习中广泛使用的技术，常应用于对齐训练、模型生物和玩具模型等不同领域。然而，这些领域通常被视为独立的研究方向，彼此之间缺乏交流。近日，一项由Anton de la Fuente和Arthur Conmy完成的研究指出，当不同领域的研究项目追求相同目标时，一个领域中的SFT经验教训可能对其他领域具有重要的借鉴意义。该研究通过三个精心设计的实验，系统验证了这一假设，并展示了跨领域移植SFT教训的潜力。
第一个实验关注行为泛化。研究人员将对齐训练中的成功经验——即训练行为背后的原因（如Teaching Claude Why方法）——移植到玩具模型中。实验结果表明，与仅训练行为示例相比，训练行为原因可以显著提高行为在新情境下的泛化能力。这意味着，在SFT中强调行为的理由而非仅仅行为本身，能够使模型更灵活地适应未知环境。
第二个实验涉及能力保留。在模型生物研究中，使用非学生模型生成的输出（即离模型输出）进行SFT可能会损害模型原有的能力。为了缓解这一问题，研究人员在训练数据中混入良性的在模型（同策略）数据。实验证实，这种方法能够在成功嵌入目标行为的同时，有效防止大部分能力损伤。这一发现对于那些需要在微调过程中保持模型基础能力的应用场景尤为重要。
第三个实验探讨鲁棒性。研究人员发现，在嵌入对齐行为后，再进行良性的后续SFT可能会意外抹除该行为，同时保留模型的能力。这表明，仅仅保留能力并不足以确保模型对后续训练步骤的鲁棒性。这一结果提醒我们，在模型训练流程中，需要更全面地考虑行为持久性。
总的来说，该研究不仅展示了跨领域移植SFT教训如何促进各领域的共同进步，还鼓励研究人员积极从自身领域之外汲取技术灵感。通过这种方式，机器学习社区可以更高效地共享知识，加速技术进步。