离线强化学习损失函数（如RFT、RIFT、DFT、Offline GRPO和DPO）被广泛用于将大型教师模型的推理能力蒸馏到较小的学生模型中。然而，这些方法通常仅通过下游准确率进行比较，其机制上的差异尚不明确。一项新的研究直接比较了六种方法（SFT、RFT、DFT、RIFT、Offline GRPO和DPO）在相同数学数据上的权重更新几何特性。
研究人员使用Qwen3-4B作为基础模型，采用仅注意力的LoRA适配器，对所有方法使用相同的数学推理数据（来自教师模型生成）。他们通过余弦相似度、主角度子空间分析、线性模式连接性和CKA（Centered Kernel Alignment）等方法分析了训练前后的权重增量。结果揭示了显著的结构差异。
首先，SFT（监督微调）、RFT（拒绝微调）和RIFT（奖励加权拒绝微调）的权重增量几乎共线，余弦相似度超过0.97，中位主角度约7度（在144个模块中）。这三种方法在GSM8K数学基准测试上的准确率相当（约87-88%），且配对McNemar检验的p值≥0.15，表明无显著差异。这表明RFT和RIFT可能并未通过奖励加权引入独立的机制。
相比之下，尽管使用相同的训练数据，DFT（直接偏好微调）的更新方向明显偏离奖励加权方法。Offline GRPO（群体相对策略优化的一种离线变体）则表现出独特的性质：它在保持SFT损失盆地的同时，增加了大量与SFT方向正交的分量（全局约67%，在后期层中高达86%），但不破坏损失收敛性。
最引人注目的是DPO（直接偏好优化）。其权重增量几何与其他方法几乎正交，在后期层中CKA降至约0.46，甚至出现模式连接障碍。尽管几何上隔离，DPO在实验中取得了最高准确率：GSM8K上93.5%，AIME26上30.0%（其他方法为3.3-10.0%）。但值得注意的是，DPO使用了比其他方法小10倍的学习率（标准惯例），因此准确率差异可能同时来自损失函数和优化器选择。作者将学习率匹配后的比较留作未来工作。
这项研究强调了离线推理训练方法在权重空间中的显著几何差异，其中一些差异可能源于损失函数设计，而非纯粹的监督信号。理解这些几何性质有助于更好地选择蒸馏策略和优化超参数。