Raschka 过去两年在 Ahead of AI 上持续撰文讨论推理模型，他近日指出推理模型的热度并未消退——如今几乎所有的当代 LLM 要么本身就是推理模型，要么提供推理模式。为了让读者真正理解这些系统如何运转，他先写了《Build a Reasoning Model (From Scratch)》一书，用 PyTorch 从底层实现推理模型的各个组成部分，随后又录制了配套的八段编程视频，总时长约 11 小时。
课程的起点是一个小型预训练 Qwen3 模型（0.6B）。Raschka 强调，从预训练权重出发可以跳过繁琐的预训练环节，把精力集中在真正有趣的部分：评估、推理时扩展、强化学习和蒸馏。前置要求是熟悉 Python 与 PyTorch；此前的《Build a Large Language Model (From Scratch)》内容虽有帮助但并非必需。计算资源方面，早期的文本生成与评估示例在 CPU 上即可运行，但后续涉及训练的实验最好配备 GPU。
在正式进入代码之前，Raschka 用一段类比厘清了 LLM、推理模型与智能体的关系。他把模型比作引擎，把智能体框架比作围绕引擎搭建的机械结构：框架负责复杂的上下文管理并为模型提供工具接口，从而应对更大的编码任务、旅行预订等个人助理类需求。推理模型本质上是传统 LLM 的升级版本，通过带可验证奖励的强化学习（RLVR）进行额外后训练，并可选地叠加推理时扩展技术，使其更擅长处理高难度问题。传统上推理模型针对数学与代码开发，但这些能力也能泛化到其他领域。智能体既可以搭载普通 LLM，也可以搭载推理模型，后者因能力更强而更常见。
第一段视频讲解上述关系、通过代码实现学习的价值、课程范围，以及环境搭建：使用 uv 安装 Python 与 PyTorch 依赖、选择硬件并检查 CUDA 或 Apple Silicon 支持、通过 VS Code 使用远程 GPU，以及排查常见环境问题。
第二段视频加载 Qwen3 的预训练权重，实现将文本编码为 token 再解码回文本的流程，讲解张量形状、logits 与下一个 token 的预测，实现贪心解码与流式文本生成，处理序列结束 token 并测量生成速度，最后加入 KV 缓存复用注意力键值，并结合 torch.compile 对比不同硬件的性能。这些组件构成后续评估与改进的基线。
第三段视频从零构建数学答案验证器，涵盖答案抽取、归一化与数学等价性判断，并用它在 MATH-500 数据集上评估基座模型。该验证器在系列后半部分还承担第二项职责：为 RLVR 提供奖励信号。视频还介绍了验证器在 LLM 评估方法中的定位，比较基座模型与推理模型在 MATH-500 上的表现。
第四段视频转向推理时扩展。在实现具体技术前，先需要让同一提示生成多样化答案，因此课程实现了温度缩放、多项式采样与 top-p 过滤，再通过自一致性（对最终答案做多数投票）把多个回答合并。视频还分析了答案准确率与额外推理算力之间的权衡，并比较训练阶段与推理阶段增加算力对性能的不同收益。
第五段视频在此基础上实现打分函数，用于比较同一提示生成的多个答案，也可在自一致性中打破平票。课程涵盖简单的启发式打分器、token 概率与序列似然计算（这些在后续强化学习章节同样重要）、利用对数概率提升数值稳定性，以及让模型先批评再修订的自我修正循环，并在 MATH-500 上评估这些额外步骤的实际价值。
第六段视频进入强化学习，实现带可验证奖励的强化学习（RLVR），具体做法是简化版的组相对策略优化（GRPO）：生成成组的回答，用验证器打分，再依据相对奖励更新模型权重。课程还讨论了答案长度与解题能力之间的关系，比较 RLHF 与 RLVR 两种重要的后训练方法，讲解如何把验证器分数转化为奖励与相对优势、计算序列对数概率与简化的 GRPO 损失、搭建带日志与检查点保存的训练循环，并评估检查点、检查训练稳定性与显存需求。
除视频外，Raschka 建议将配套书籍作为搭配材料：先读一章，边看对应视频边敲代码，再做章末练习，可获得最深入的学习体验。该书由 Manning 与 Amazon 发售，纸质版为彩色印刷。对于只想了解概念、不打算完整实现代码的读者，他还推荐了自己在 LinkedIn Learning 上约 90 分钟的 AI Reasoning Models 课程，概述推理时扩展、强化学习与蒸馏的核心思想，通过文中链接访问可免费观看 24 小时。Raschka 表示自己正在短暂休息，下个月将带着新的 LLM 研究综述回归。