來自arXiv的一項新研究提出了自動評分獎勵（Auto-Rubric as Reward, ARR）框架，旨在解決多模態生成模型與人類偏好對齊中的關鍵問題。當前主流的基於人類反饋的強化學習（RLHF）方法將複雜的多維度人類判斷簡化為標量或成對標籤，容易受到獎勵駭客攻擊，且難以解釋。儘管近期出現了評分即獎勵（RaR）方法，但生成可靠、可擴充套件且資料高效的評分標準仍是難題。
ARR框架在成對比較之前，先提取視覺語言模型（VLM）內在的偏好知識，將其轉化為針對特定提示的評分標準。這些標準將整體意圖分解為可獨立驗證的質量維度，例如影像與文本的匹配度、美觀性等。透過這種方式，隱式的偏好結構被顯式化，成為可檢查、可解釋的約束條件，有效抑制了位置偏差等評估偏見。ARR支援零樣本部署，僅需少量監督即可進行少樣本調整。
為進一步將ARR的優勢擴充套件到生成訓練，研究團隊提出了評分策略最佳化（Rubric Policy Optimization, RPO）。RPO將ARR的結構化多維度評估蒸餾為一個穩健的二元獎勵訊號，用評分條件化的偏好決策替代不透明的標量回歸，從而穩定策略梯度。在文本到影像生成和影像編輯基準測試中，ARR-RPO組合優於成對獎勵模型和VLM評判者，證明了顯式化隱式偏好知識能夠實現更可靠、資料高效的多模態對齊。
作者強調，當前對齊中的瓶頸不是知識缺失，而是缺少分解介面。ARR透過提供這樣一個介面，使得評估過程更加透明和可控。該論文已提交至arXiv，包含28頁、10張圖和11張表，由Juanxi Tian等8位作者共同完成，於2026年5月8日提交。感興趣的讀者可透過arXiv ID 2605.08354訪問全文。這一研究為多模態生成模型的對齊提供了新的思路，有望推動更可靠、更高效的模型訓練方法。