TMPO（Trajectory Matching Policy Optimization）は、拡散モデルのアライメントにおいて強化学習（RL）で一般的な報酬ハッキング問題を解決する新しい手法です。報酬ハッキングは生成多様性の低下、視覚的モード崩壊、信頼性の低い報酬信号の増幅を引き起こします。研究チームは、既存手法が本質的に「モード探索型」であり、期待報酬を最大化する一方で許容軌道上の確率分布を効果的に制約しないことが原因だと特定しました。
TMPOは、スカラー報酬最大化を軌道レベルの報酬分布マッチングに置き換えます。具体的には、Softmax Trajectory Balance（Softmax-TB）目的を導入し、K個の軌道のポリシー確率を報酬誘導ボルツマン分布に一致させます。理論的には、この目的は順方向KLダイバージェンスのモードカバー特性を継承し、報酬を最適化しながら許容軌道全体のカバレッジを維持します。また、大規模フローマッチングモデルのマルチ軌道トレーニング時間を削減するために、動的確率的ツリーサンプリングを採用し、軌道がノイズ除去プレフィックスを共有し、動的にスケジュールされたステップで分岐することで冗長計算を減らし、トレーニング効果を向上させます。
人間の好み、合成生成、テキストレンダリングなどの多様なアライメントタスクにおける広範な実験結果は、TMPOが生成多様性を最先端手法より9.1%向上させ、すべての下流および効率指標で競争力のあるパフォーマンスを達成し、報酬と多様性の最適なトレードオフを実現することを示しています。この研究は、Jiaming Li氏ら12名の著者により行われ、2026年5月9日にarXivに投稿されました。実験では、複数のベンチマークで評価され、既存手法と比較して優れた結果を示しました。特に、生成多様性の向上は顕著で、同時に訓練効率も改善されました。TMPOは拡散モデルアライメントの新たなパラダイムを提供します。