オフライン強化学習損失（RFT、RIFT、DFT、Offline GRPO、DPO）は、大規模教師モデルから小規模生徒モデルへ推論能力を蒸留するために広く使われている。しかし、これらの手法は通常、下流タスクの精度のみで比較され、メカニズムの違いは不明である。本研究では、6つの手法（SFT、RFT、DFT、RIFT、Offline GRPO、DPO）を同一の数学データで訓練し、重み更新の幾何学的性質を直接比較した。
研究者らは、ベースモデルとしてQwen3-4Bを使用し、アテンションのみのLoRAアダプタを適用した。全ての手法に同一の数学推論データ（教師モデルが生成）を用い、コサイン類似度、主角度部分空間分析、線形モード接続性、CKA（Centered Kernel Alignment）を用いて訓練前後の重み差分を分析した。その結果、顕著な構造的差異が明らかになった。
まず、SFT（教師ありファインチューニング）、RFT（拒否ファインチューニング）、RIFT（報酬加重拒否ファインチューニング）の重み差分はほぼ共線的であり、コサイン類似度は0.97以上、主角度の中央値は約7度（144モジュール中）であった。これらの手法のGSM8K数学ベンチマーク精度は同等（約87-88%）で、ペアワイズMcNemar検定のp値は0.15以上であり、有意差はなかった。これは、RFTやRIFTが報酬加重によって独立したメカニズムを導入していない可能性を示唆する。
これに対し、DFT（直接選好ファインチューニング）は同じデータを使用しているにもかかわらず、更新方向が報酬加重法よりも大きく乖離した。Offline GRPO（グループ相対政策最適化のオフライン変種）は独自の特性を示した。SFT損失盆地を維持しつつ、SFT方向に直交する成分を大量に追加した（全体で約67%、後期層では最大86%）が、損失収束を妨げなかった。
最も注目すべきはDPO（直接選好最適化）である。その重み差分幾何学は他の手法とほぼ直交しており、後期層ではCKAが約0.46に低下し、モード接続障壁も観測された。幾何学的に孤立しているにもかかわらず、DPOは実験で最高精度を達成した。GSM8Kで93.5%、AIME26で30.0%（他の手法は3.3-10.0%）である。ただし、DPOは他の手法より10倍小さい学習率（標準的な慣行）を使用しているため、精度差は損失関数と最適化器の選択に起因する可能性がある。著者らは、学習率を一致させた比較を今後の課題としている。
この研究は、オフライン推論訓練手法が重み空間において顕著な幾何学的差異を持つことを強調している。その差異の一部は損失関数の設計に由来し、純粋な教師信号によるものではない。これらの幾何学的性質を理解することは、蒸留戦略やハイパーパラメータの最適化に役立つだろう。