Raschka氏はこの2年間、Ahead of AIで推論モデルについて繰り返し執筆してきた。同氏によれば推論モデルの重要性は衰えておらず、現在のLLMのほとんどは推論モデルそのものか、推論モードを備えている。仕組みを理解したい読者のために、同氏はまずPyTorchで構成要素を一から実装する書籍『Build a Reasoning Model (From Scratch)』を執筆し、さらに今回、それに沿った8本・合計約11時間のコーディング動画を収録して公開した。
コースの出発点は小型の事前学習済みQwen3モデル（0.6B）だ。事前学習の重みから始めることで、事前学習という別の大きな工程を省き、評価、推論時スケーリング、強化学習、蒸留という面白い部分に集中できると同氏は説明する。前提知識はPythonとPyTorchへの習熟で、以前の『Build a Large Language Model (From Scratch)』の内容は推奨されるが必須ではない。計算資源については、初期のテキスト生成や評価の例はCPUでも動くが、特に学習を含む後半の実験にはGPUがあると現実的だという。
本題に入る前に、Raschka氏はLLM・推論モデル・エージェントの関係を比喩で整理する。モデルをエンジン、エージェントハーネスをエンジンの周囲に取り付ける機械装置とみなす考え方だ。ハーネスは高度なコンテキスト管理とツールへのアクセスを担い、より大きなコーディング作業や旅行予約などのパーソナルアシスタント業務を可能にする。推論モデルは従来型LLMの上位版であり、検証可能な報酬を用いた強化学習（RLVR）による追加のポストトレーニングと、任意で推論時スケーリングを組み合わせることで難しい問題への対応力を高める。伝統的には数学とコード向けに開発されるが、その能力は他の領域にも一般化しうる。エージェントは通常のLLMでも推論モデルでも動かせるが、能力の高さから推論モデルが一般的な選択肢となる。
第1回の動画では、こうした関係の説明に加え、コード実装を通じて学ぶ利点、コースの範囲、環境構築を扱う。uvを使ったPythonとPyTorchの依存関係の導入、ハードウェアの選択とCUDAまたはApple Siliconの対応確認、VS Code経由でのリモートGPU利用、よくある環境トラブルの対処などが含まれる。
第2回ではQwen3の事前学習済み重みを読み込み、テキストをトークンに符号化して再びテキストへ戻す処理、テンソルの形状やロジット、次トークン予測を解説する。貪欲法によるデコードとストリーミング生成を実装し、系列終端トークンの扱いと生成速度の測定も行う。さらに注意のキーと値を再利用するKVキャッシュを追加し、torch.compileと組み合わせてハードウェアごとの性能を比較する。これらが以降で評価・改善するための基盤となる。
第3回では数学の解答検証器を一歩ずつ構築する。解答の抽出、正規化、数学的等価性の判定を実装し、MATH-500データセットで基盤モデルを評価する。この検証器はシリーズ後半で、RLVRの報酬信号を供給するという第二の役割も担う。動画では検証器がLLM評価手法の中でどう位置づけられるかも説明し、MATH-500上で基盤モデルと推論モデルを比較する。
第4回は推論時スケーリングに移る。具体的な手法の前に、同じプロンプトから多様な解答を生成する仕組みが必要になるため、温度スケーリング、多項分布サンプリング、top-pフィルタリングを実装する。その後、最終解答の多数決による自己整合性で複数の回答を統合する。解答の正確さと追加の推論計算量のトレードオフも検討し、学習時と推論時で計算量を増やす効果の違いを比較する。
第5回はその上に、同じプロンプトから得た複数の解答を比較するスコアリング関数を実装する。これは自己整合性での同点決着にも使える。内容は単純なヒューリスティックスコアラ、トークン確率と系列尤度の計算（後の強化学習の回でも重要になる）、対数確率による数値的安定性の向上、モデルが解答を批評して修正を試みる自己改善ループ、そしてMATH-500での評価による追加ステップの有効性の確認だ。
第6回は強化学習に入り、検証可能な報酬を用いた強化学習（RLVR）を実装する。具体的には簡略化したGroup Relative Policy Optimization（GRPO）で、回答のグループを生成し、検証器で採点し、相対的な報酬に基づいてモデルの重みを更新する。解答の長さと問題解決能力の関係、RLHFとRLVRという二つの重要なポストトレーニング手法の比較、検証器のスコアを報酬と相対アドバンテージに変換する方法、系列対数確率と簡略化したGRPO損失の計算、ログとチェックポイント保存を備えた学習ループの組み立て、チェックポイントの評価や学習の安定性・メモリ要件の確認までを扱う。
動画に加えて、Raschka氏は書籍を併用することを勧める。章を読み、対応する動画を見ながらコードを動かし、最後に演習問題に取り組むのが最も深い学習体験になるという。書籍はManningとAmazonで販売され、紙版はカラー印刷だ。コードを書き切らずに概念だけつかみたい読者には、LinkedIn Learningの約90分の「AI Reasoning Models」コースも紹介している。推論時スケーリング、強化学習、蒸留の主要な考え方を解説するもので、記事内のリンクから24時間無料で視聴できる。同氏は現在短期の休暇を取っており、来月には新たなLLM研究のまとめを公開する予定だ。