大規模推論言語モデル（LRM）は、テスト時のスケーリングによって長い思考連鎖（CoT）軌跡を生成し、複雑な推論タスクを解決します。これらの軌跡には、「wait」「but」「alternatively」といった明示的なリフレクションマーカーが頻繁に現れ、それぞれ躊躇、修正、代替案の検討を示します。従来の研究では、これらのマーカーを単一の粗いカテゴリとして扱い、推論を導くための軽量な制御手段として利用していました。しかし、この単純化は、マーカーごとの機能の違いを無視しています。
本論文では、タイプ別の抑制と固定プレフィックス介入の実験を通じて、リフレクションマーカーが機能的な役割だけでなく、その影響が最大となるタイミングも異なることを明らかにしました。マーカーのクラスによって精度と生成長への影響が異なり、マーカーの選択はモデルが安定した推論軌跡に入る前に最も重要になります。これらの発見に基づき、著者らはPathCalを提案します。これは、マーカーの種類を区別し、局所的に不確実な状態でのみ介入する、新しい訓練不要のデコーディングコントローラです。
PathCalの各デコーディングステップでは、リフレクションマーカーの分布を利用して、現在の推論軌跡を維持することと競合分岐を開始することの間の局所的な競争を推定し、競合分岐の証拠が過剰になった場合にマーカーのロジットを穏やかに再調整します。この状態認識型の較正メカニズムにより、不必要な分岐探索を避け、動的に推論パスを調整できます。
6つの推論ベンチマークでの実験により、PathCalはより優れた効率と性能のトレードオフを実現することが示されました。外部検証器や追加のサンプリングに依存せず、精度を向上または維持しながら生成長を削減します。これは、モデルがより効率的に推論でき、計算コストを削減できることを意味します。PathCalの提案は、推論モデルのテスト時制御に新たな視点をもたらし、細粒度のマーカー区別と適切なタイミングでの介入の重要性を強調しています。