近年、拡散モデルは画像・動画生成の標準的な枠組みとなり、text-to-imageやtext-to-videoなど多様なマルチメディア生成に貢献してきた。こうしたモデルを人間の選好に合わせるため、強化学習（RL）を後段トレーニングとして用いる手法が注目されている。しかし既存のポリシー勾配法は探索が非効率で、局所最適に陥りやすく、結果として意味的な忠実さや視覚的リアリズムが損なわれることがある。Junlong Wu氏ら10名の研究チームが提案するRA-GRPOは、そうした課題に対し、生成の「前向き」なプロセスに「後ろ向き」のリフレクションを導入する手法である。
提案手法の中心となるのは、Diffusion ReflectionとCounterfactual Path Synthesisの2つの仕組みだ。Diffusion Reflectionは、弱い推定器を用いて拡散過程を反転させることにより、中間サンプリング経路を修正し、潜在状態を真のデータ多様体の高確率領域へ誘導する。これは誤差が増幅される前に軌道を修正する「セルフチェック」の役割を果たす。もう一方のCounterfactual Path Synthesisは、修正された軌道を暗黙的にポリシーへ蒸留する。これによってモデルは、推論時に追加コストをかけることなく、探索に基づく改善の恩恵を内部化できる。
研究チームは、text-to-imageとtext-to-videoの両モデルに対して大規模な実験を実施。RA-GRPOは既存手法を大きく上回り、特に報酬ハッキングの抑制と一般化性能の向上で顕著な成果を示した。さらに、アーキテクチャに依存しないため、既存の標準的なトレーニングパイプラインにそのまま統合できる点も利点だ。この論文は2026年9月3日にarXiv（2609.04282）へ投稿され、Computer Vision and Pattern Recognition（cs.CV）に分類されている。