背景
推理模型已成为当代 LLM 的标配能力。几乎所有新一代大语言模型都提供推理模式，或本身就是推理模型。这类模型在常规 LLM 基础上，通过可验证奖励的强化学习后训练，加上可选的推理时扩展技术，获得了解决数学和代码等复杂问题的能力。
Sebastian Raschka 此前已写过《Build a Large Language Model (From Scratch)》，讲解如何从零训练底座模型。这次的 11 小时视频课是那本书的续集，专注推理模型的评估、推理时扩展、强化学习和蒸馏四个环节。课程配套新书《Build a Reasoning Model (From Scratch)》，但视频可以独立学习。
课程起点是一个已预训练的小模型 Qwen3 0.6B，跳过底座训练部分，直接进入推理能力的构建。前期的文本生成和评估可以在 CPU 上运行，后期训练环节强烈建议使用 GPU。Raschka 在第一个视频和代码仓库中给出了硬件和环境配置建议。
核心原理
课程分八讲，覆盖推理模型的完整工作流。第一讲解释 LLM、推理模型和 Agent 的关系，用发动机类比：常规 LLM 是引擎，推理模型是在引擎上加强化学习和推理时扩展的升级版，Agent harness 是外层工具框架。第二讲加载 Qwen3 权重，实现流式生成，加入 KV cache 和 torch.compile 提升效率。
第三讲构建数学答案验证器（verifier），从答案提取到规范化再到数学等价性检查，用它在 MATH-500 数据集上评估模型。这个验证器同时为后续的 RLVR（强化学习与可验证奖励）提供奖励信号。
第四讲和第五讲聚焦推理时扩展。第四讲实现 temperature、multinomial、top-p 采样策略，以及 self-consistency（多数投票）机制，权衡精度与额外算力。第五讲用 token 和序列 logprob 打分打破平局，实现 self-refinement（批评后改写）并评估效果。
第六讲和第七讲进入强化学习。第六讲讲简化版 GRPO，对比 RLHF 和 RLVR，使用组内相对优势和简化的 GRPO loss，完成训练循环和 checkpoint 保存。第七讲处理训练稳定性，监控 entropy、advantage、clip、KL 和 format reward，防止 reward hacking，最后在 MATH-500 上重新评估。
第八讲讲蒸馏，区分 soft/hard 和 on/off-policy 蒸馏，用 DeepSeek R1 等强教师的数据训练小模型并对比性能。
局限
课程使用 Qwen3 0.6B 这样的小模型，计算开销可控，但能力上限低于工业级推理模型。课程聚焦数学和代码领域，推理能力在其他领域的泛化效果未涉及。
强化学习部分采用简化版 GRPO，省略了完整实现中的许多工程细节和稳定性机制。蒸馏环节依赖外部教师模型的数据质量，没有讨论如何生成或筛选高质量蒸馏数据。
课程假设学习者熟悉 Python 和 PyTorch，对初学者门槛较高。后期训练实验需要 GPU，没有 GPU 的开发者只能完成前半部分内容。
对开发者的意义
这是为数不多从零实现推理模型全流程的教程。大多数推理模型教程停留在调用 API 或使用现成框架，这套课程让开发者理解每个组件的工作机制。
课程展示了推理模型与普通 LLM 的本质区别：不是模型架构的改变，而是训练方法和推理策略的升级。这种理解对设计 Agent 系统、选择模型、调整推理力度都有实际价值。
验证器、self-consistency、GRPO、蒸馏这些技术模块可以单独复用。开发者可以把验证器接入自己的评估流程，或把 self-consistency 加到现有生成管道里。
课程配套的代码仓库和书籍练习提供了完整的学习路径。建议先读对应章节，再跟视频写代码，最后做练习。LinkedIn Learning 上还有 90 分钟概念课可作预习，24 小时内免费访问。
原文地址：tools.wflynn.cn/aitools/tre…
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
本文由 AI图鉴自动抓取并翻译，版权归原作者所有；如需查看原文请点下方链接。