arXivで発表された新しい研究は、マルチモーダル生成モデルと人間の選好を整合させるための自動ルーブリック報酬（Auto-Rubric as Reward, ARR）フレームワークを提案しています。現在主流のRLHFアプローチは、複雑な多次元の人間判断をスカラー値やペアワイズラベルに縮約し、ブラックボックス的なパラメトリックプロキシに依存するため、報酬ハッキングの脆弱性があります。最近のRubrics-as-Reward（RaR）手法は明示的な基準を通じて構造を回復しようとしますが、信頼性、スケーラビリティ、データ効率を兼ね備えたルーブリックの生成は依然として課題です。
ARRフレームワークは、ペアワイズ比較の前に、視覚言語モデル（VLM）が内在化した選好知識をプロンプト固有のルーブリックとして外部化します。これにより、全体的な意図を独立して検証可能な品質次元に変換し、位置バイアスなどの評価バイアスを大幅に抑制します。ARRはゼロショット展開が可能で、最小限の教師データで少数ショット適応も行えます。
さらに、生成訓練にこれらの利点を拡張するため、Rubric Policy Optimization（RPO）が提案されています。RPOはARRの構造化された多次元評価をロバストな二値報酬に蒸留し、不透明なスカラー回帰をルーブリック条件付き選好決定に置き換えることで方策勾配を安定化します。テキストから画像への生成および画像編集のベンチマークにおいて、ARR-RPOはペアワイズ報酬モデルやVLM評価者を上回る性能を示しました。この結果は、知識の不足ではなく、分解されたインターフェースの欠如がマルチモーダルアライメントのボトルネックであることを明らかにしています。
本論文は28ページ、10の図、11の表から構成され、Juanxi Tianら8名の著者により2026年5月8日に提出されました。arXiv ID 2605.08354から全文にアクセス可能です。この研究は、マルチモーダル生成モデルのアライメントに新たな方向性を提供し、より信頼性が高く効率的なモデル訓練手法の実現が期待されます。