Raschka 過去兩年在 Ahead of AI 上持續撰文討論推理模型，他近日指出推理模型的熱度並未消退——如今幾乎所有的當代 LLM 要麼本身就是推理模型，要麼提供推理模式。為了讓讀者真正理解這些系統如何運轉，他先寫了《Build a Reasoning Model (From Scratch)》一書，用 PyTorch 從底層實現推理模型的各個組成部分，隨後又錄製了配套的八段編程視頻，總時長約 11 小時。
課程的起點是一個小型預訓練 Qwen3 模型（0.6B）。Raschka 強調，從預訓練權重出發可以跳過繁瑣的預訓練環節，把精力集中在真正有趣的部分：評估、推理時擴展、強化學習和蒸餾。前置要求是熟悉 Python 與 PyTorch；此前的《Build a Large Language Model (From Scratch)》內容雖有幫助但並非必需。計算資源方面，早期的文本生成與評估示例在 CPU 上即可運行，但後續涉及訓練的實驗最好配備 GPU。
在正式進入代碼之前，Raschka 用一段類比釐清了 LLM、推理模型與智能體的關係。他把模型比作引擎，把智能體框架比作圍繞引擎搭建的機械結構：框架負責複雜的上下文管理併為模型提供工具接口，從而應對更大的編碼任務、旅行預訂等個人助理類需求。推理模型本質上是傳統 LLM 的升級版本，通過帶可驗證獎勵的強化學習（RLVR）進行額外後訓練，並可選地疊加推理時擴展技術，使其更擅長處理高難度問題。傳統上推理模型針對數學與代碼開發，但這些能力也能泛化到其他領域。智能體既可以搭載普通 LLM，也可以搭載推理模型，後者因能力更強而更常見。
第一段視頻講解上述關係、通過代碼實現學習的價值、課程範圍，以及環境搭建：使用 uv 安裝 Python 與 PyTorch 依賴、選擇硬件並檢查 CUDA 或 Apple Silicon 支持、通過 VS Code 使用遠程 GPU，以及排查常見環境問題。
第二段視頻加載 Qwen3 的預訓練權重，實現將文本編碼為 token 再解碼迴文本的流程，講解張量形狀、logits 與下一個 token 的預測，實現貪心解碼與流式文本生成，處理序列結束 token 並測量生成速度，最後加入 KV 緩存複用注意力鍵值，並結合 torch.compile 對比不同硬件的性能。這些組件構成後續評估與改進的基線。
第三段視頻從零構建數學答案驗證器，涵蓋答案抽取、歸一化與數學等價性判斷，並用它在 MATH-500 數據集上評估基座模型。該驗證器在系列後半部分還承擔第二項職責：為 RLVR 提供獎勵信號。視頻還介紹了驗證器在 LLM 評估方法中的定位，比較基座模型與推理模型在 MATH-500 上的表現。
第四段視頻轉向推理時擴展。在實現具體技術前，先需要讓同一提示生成多樣化答案，因此課程實現了温度縮放、多項式採樣與 top-p 過濾，再通過自一致性（對最終答案做多數投票）把多個回答合併。視頻還分析了答案准確率與額外推理算力之間的權衡，並比較訓練階段與推理階段增加算力對性能的不同收益。
第五段視頻在此基礎上實現打分函數，用於比較同一提示生成的多個答案，也可在自一致性中打破平票。課程涵蓋簡單的啓發式打分器、token 概率與序列似然計算（這些在後續強化學習章節同樣重要）、利用對數概率提升數值穩定性，以及讓模型先批評再修訂的自我修正循環，並在 MATH-500 上評估這些額外步驟的實際價值。
第六段視頻進入強化學習，實現帶可驗證獎勵的強化學習（RLVR），具體做法是簡化版的組相對策略優化（GRPO）：生成成組的回答，用驗證器打分，再依據相對獎勵更新模型權重。課程還討論了答案長度與解題能力之間的關係，比較 RLHF 與 RLVR 兩種重要的後訓練方法，講解如何把驗證器分數轉化為獎勵與相對優勢、計算序列對數概率與簡化的 GRPO 損失、搭建帶日誌與檢查點保存的訓練循環，並評估檢查點、檢查訓練穩定性與顯存需求。
除視頻外，Raschka 建議將配套書籍作為搭配材料：先讀一章，邊看對應視頻邊敲代碼，再做章末練習，可獲得最深入的學習體驗。該書由 Manning 與 Amazon 發售，紙質版為彩色印刷。對於只想瞭解概念、不打算完整實現代碼的讀者，他還推薦了自己在 LinkedIn Learning 上約 90 分鐘的 AI Reasoning Models 課程，概述推理時擴展、強化學習與蒸餾的核心思想，通過文中鏈接訪問可免費觀看 24 小時。Raschka 表示自己正在短暫休息，下個月將帶着新的 LLM 研究綜述迴歸。