在資源受限的環境中，小型語言模型（SLM）因其低計算需求而成為檢索增強生成（RAG）的理想選擇。然而，這些模型容量有限，對檢索到的噪聲或虛假證據高度敏感。現有的基於偏好的方法，如RoseRAG，僅通過硬argmin/argmax選擇最難的單個偏好對，丟棄了其餘信號；另一些方法則將多個偏好對視為獨立的二分類，導致數據利用率低下。
為此，研究團隊提出了RIMS，一種三階段偏好優化框架。第一階段通過拒絕採樣生成合成思維鏈偏好數據，僅使用目標SLM本身，無需依賴專有模型。第二階段引入可微的軟聚合機制，用平滑算子取代硬選擇，在保留間隔感知選擇的判別結構的同時，從所有偏好對中保留梯度信號。第三階段將平滑目標應用於多種對齊算法進行偏好優化。
理論上，作者證明了平滑近似具有可控的誤差界，且平滑聚合比硬選擇能提供更緊的梯度對齊。在四個多跳問答基準上的實驗表明，RIMS在多個SLM骨幹上均優於最先進的基線，在噪聲檢索條件下在Exact Match和F1上取得了一致的提升。代碼已開源。
這項工作的核心貢獻在於提出了一種數據高效的偏好優化方法，使得小型模型在複雜檢索場景中能夠更好地利用檢索結果，同時避免了昂貴的專有模型依賴。該框架的平滑聚合機制是一個重要創新，它通過保留所有偏好對的信息，顯著提升了訓練的穩定性和最終性能。團隊還提供了理論證明和開源實現，為後續研究奠定了堅實基礎。