SFTからRLに急ぐな！あなたのマルチモーダル大規模モデルは「怪我をしたまま訓練」しているかもしれない

研究により、マルチモーダル大規模モデルの後訓練における一般的なSFT→RLパイプラインでは、SFT後に分布シフトが発生して性能が低下し、RLは単に失ったベースラインを回復するだけであることが明らかになった。PRISMは、SFTとRLの間に分布アライメント段階を導入し、混合専門家識別器を用いて知覚ドリフトと推論ドリフトを分離して修正することで、ベンチマーク全体で顕著な改善を達成した。