SFT別急著接RL！你的多模態大模型可能一直在“帶傷訓練”

研究發現多模態大模型後訓練中SFT會導致分佈偏移，使模型效能下降，RL階段實際是在“還債”。PRISM提出三階段流水線，在SFT和RL之間加入分佈對齊階段，使用混合專家判別器分別處理感知漂移和推理漂移，顯著提升模型效能。