近年、強化学習（RL）は明示的Chain-of-Thought（CoT）推論器においてテスト時スケーリングを可能にしましたが、各中間ステップを言語トークンとしてデコードする必要があるため、計算コストが高くなっています。一方、潜在推論は中間計算を連続ベクトルとして保持し、より短い推論ステップで明示的CoTに匹敵する性能を達成しています。しかし、潜在推論器は主に模倣学習に依存しており、明示的CoTが結果報酬RLによって模倣を超えたのとは対照的です。潜在軌跡は追跡可能なステップごとの尤度や固定思考予算下での適応的停止インターフェースを欠いているため、結果報酬は潜在推論のテスト時スケーリングを引き出すことができません。
この問題に対処するため、Runyang Youらはサロゲート潜在ポリシー最適化（SLPO）を提案しました。SLPOは、自己回帰潜在推論器に結果報酬RLをもたらします。具体的には、潜在遷移に対する経験的サロゲートポリシー密度を用いて軌跡レベルのクレジット割り当てを行い、正解監視付き停止ヘッドを導入して結果報酬最適化により可変ホライゾンポリシーに洗練します。これにより、潜在推論器は各ステップの尤度を計算することなく、結果報酬に基づいて軌跡全体を評価し、最適な停止タイミングを学習できるようになります。
実験では、連続思考（continuous thinking）とソフト思考（soft thinking）の両方の設定で評価が行われました。結果は、SLPOが並列サンプリング下でPass@kを改善することを示しています。さらに、モデルはより難しいインスタンスに対してより長い潜在計算を割り当て、高い決定論的精度を達成しました。これは、SLPOが潜在推論器にテスト時スケーリング能力をもたらすことを示しています。
この研究は、潜在推論に対する強化学習訓練の新たな可能性を開き、効率を維持しつつ推論能力をさらに向上させる道を示しています。将来的には、複雑な推論を必要とするAIシステム（数学的証明、科学的発見、多段階計画など）への応用が期待されます。潜在推論器の性能が向上するにつれ、AIシステムは推論コストと性能のより良いバランスを実現できるでしょう。