大規模言語モデルの事後訓練では、スパースな検証報酬がよく用いられる。これはサンプリングされた軌跡の成功可否のみを示し、推論のどの部分が成功または失敗したかについての限定的な指針しか提供しない。オン・ポリシー蒸留（OPD）は学生自身が生成した軌跡で学習することで、より密なトークンレベルの教師信号を提供するが、既存手法は各軌跡を独立に蒸留し、同一プロンプトに対してサンプリングされた他の試行を無視する。
本研究では、マルチロールアウト・オン・ポリシー蒸留（MOPD）を提案する。MOPDは学生のローカルなロールアウトグループを活用して、より情報豊富な教師信号を構築するピア条件付き蒸留フレームワークである。成功したピアの軌跡は有効な推論パターンの肯定的証拠を提供し、失敗した軌跡は構造化された否定的証拠を提供することで、モデルが一般的な誤りを回避するのに役立つ。
研究では2種類のピアコンテキスト構築法を検討した：正の模倣（positive peer imitation）と対照的成功-失敗条件付け（contrastive success-failure conditioning）。競技プログラミング、数学的推論、科学質問応答、ツール使用のベンチマーク実験において、MOPDは標準的なオン・ポリシーベースラインを一貫して上回った。さらに教師信号の分析から、成功と失敗を混合したコンテキストが教師スコアと検証報酬をより良く整合させることが分かり、性能向上がより忠実でインスタンス適応的な監督に起因することを示している。
これらの結果は、効果的なオン・ポリシー蒸留には、ロールアウトを孤立したサンプルとして扱うのではなく、学生のマルチロールアウト試行錯誤行動を活用すべきであることを示唆している。本論文はWeichen Yuら10名の著者によるもので、23ページにわたり詳細な実験と分析が報告されている。