リソース制約のある環境では、小型言語モデル（SLM）は計算コストが低いため検索拡張生成（RAG）に魅力的です。しかし、これらのモデルは容量が限られており、検索されたノイズや偽の証拠に非常に敏感です。既存の選好ベース手法（RoseRAGなど）は、ハードなargmin/argmaxを介して最も難しい単一の選好ペアのみを選択し、残りの信号を破棄します。他の手法では複数のペアを独立した二値比較として扱い、データ利用率が低くなります。
そこで研究チームはRIMSを提案します。これは3段階の選好最適化フレームワークです。第1段階では、プロプライエタリモデルに頼らず、ターゲットSLM自体を使用した拒否サンプリングにより合成思考連鎖選好データを生成します。第2段階では、ハード選択を平滑演算子に置き換える微分可能な軟集約メカニズムを導入し、マージン認識選択の判別構造を維持しながら、すべての選好ペアからの勾配信号を保持します。第3段階では、平滑化された目的関数を複数のアライメントアルゴリズムに適用して選好最適化を行います。
理論的には、平滑近似は制御可能な誤差範囲を持ち、平滑集約はハード選択よりもオラクル目的関数に対する勾配アライメントが厳密に強いことを証明しています。4つのマルチホップ質問応答ベンチマークでの実験により、本手法は複数のSLMバックボーンにわたって最先端のベースラインを上回り、ノイズのある検索条件下でExact MatchとF1において一貫した利得を達成しました。実装は公開されています。
この研究の主な貢献は、データ効率の良い選好最適化手法を提供した点にあります。これにより、小型モデルが複雑な検索シナリオで検索結果をより有効に活用できるようになり、高価なプロプライエタリモデルへの依存を回避できます。平滑集約メカニズムは重要な革新であり、すべての選好ペアの情報を保持することで、トレーニングの安定性と最終的な性能を大幅に向上させます。チームは理論的証明とオープンソース実装も提供しており、今後の研究の基盤を築いています。