LLMにおける推論努力の制御

OpenAIがo1をリリースしてLLMベースの推論モデルを普及させてから約2年が経ち、DeepSeek-R1がそれに続き、検証可能な報酬を用いた強化学習（RLVR）によるトレーニング手法を詳しく紹介しました。先週、OpenAIはGPT-5.6モデルファミリーをリリースし、3つのサイズにそれぞれ約5～6の推論努力設定が用意されています。推論モデルは今やモデルリリースの標準的な一部となっています。

本稿では、複数の努力モードを持つ推論モデルの開発に焦点を当てます。まず「推論モデル」の定義を明確にします。AIおよびLLM研究において、推論モデルとは中間推論トレースを出力するモデルを指し、問題やタスクを段階的に処理します。これは人間の推論とは異なりますが、複雑なタスクの性能向上に効果的です。

推論モデルのトレーニングの中核はRLVRであり、数学やコードなどの検証可能なデータ領域で報酬信号（0＝誤り、1＝正解）を提供します。重要なのは、中間推論トレース自体はトレーニングに使用されない点です（プロセス報酬モデルの研究は進行中）。DeepSeek-R1-Zeroは、純粋なRLVRだけでモデルが推論を学習し、自己修正の「ああ」瞬間を生み出すことを示しました。

トレーニングに加え、推論スケーリングも性能向上の手段です。これは、推論時により多くの計算リソースを使うことを意味し、自己一貫性（複数回のクエリと多数決）などの手法があります。DeepSeekMath-V2は推論モデルに極端な推論スケーリングを適用し、数学オリンピック級の問題で最先端の性能を達成しました。

思考トークン（<think>など）は推論トレースの開始と終了を示すために使われ、UIで隠すことができます。ただし、これらは推論能力を付与するものではなく、RLVRのフォーマット報酬で導入されます。

第一世代の推論モデルは専用モデルで、常に冗長な応答を生成しました。最近のQwen3などのモデルはハイブリッドアプローチを採用し、同じモデルが通常の指示チューニングモデルとしても推論モデルとしても動作できます。Qwen3ではトークナイザーを介してenable_thinkingフラグを設定し、トレーニングではSFTと汎用RLでモード切り替えを実現しています。これにより、ユーザーは必要に応じて推論モードをオン・オフできます。

推論努力の制御は、現在のLLM開発における重要な方向性であり、トレーニングと推論技術の組み合わせにより、モデルはタスク要件に応じて推論の深さを柔軟に調整できるようになります。