来自arXiv的一项新研究提出了自动评分奖励（Auto-Rubric as Reward, ARR）框架，旨在解决多模态生成模型与人类偏好对齐中的关键问题。当前主流的基于人类反馈的强化学习（RLHF）方法将复杂的多维度人类判断简化为标量或成对标签，容易受到奖励黑客攻击，且难以解释。尽管近期出现了评分即奖励（RaR）方法，但生成可靠、可扩展且数据高效的评分标准仍是难题。
ARR框架在成对比较之前，先提取视觉语言模型（VLM）内在的偏好知识，将其转化为针对特定提示的评分标准。这些标准将整体意图分解为可独立验证的质量维度，例如图像与文本的匹配度、美观性等。通过这种方式，隐式的偏好结构被显式化，成为可检查、可解释的约束条件，有效抑制了位置偏差等评估偏见。ARR支持零样本部署，仅需少量监督即可进行少样本调整。
为进一步将ARR的优势扩展到生成训练，研究团队提出了评分策略优化（Rubric Policy Optimization, RPO）。RPO将ARR的结构化多维度评估蒸馏为一个稳健的二元奖励信号，用评分条件化的偏好决策替代不透明的标量回归，从而稳定策略梯度。在文本到图像生成和图像编辑基准测试中，ARR-RPO组合优于成对奖励模型和VLM评判者，证明了显式化隐式偏好知识能够实现更可靠、数据高效的多模态对齐。
作者强调，当前对齐中的瓶颈不是知识缺失，而是缺少分解接口。ARR通过提供这样一个接口，使得评估过程更加透明和可控。该论文已提交至arXiv，包含28页、10张图和11张表，由Juanxi Tian等8位作者共同完成，于2026年5月8日提交。感兴趣的读者可通过arXiv ID 2605.08354访问全文。这一研究为多模态生成模型的对齐提供了新的思路，有望推动更可靠、更高效的模型训练方法。