从零开始构建大模型

Happy-LLM 大模型系统教程，从 NLP 基础、Transformer、预训练语言模型到动手训练和 RAG/Agent 应用。

累计 9 篇文章更新于：2026-05-10

专栏文章

从零开始构建大模型

Happy-LLM

这是一套适合中文读者系统入门大模型的教程。它不是只停留在“会调 API”，而是从 NLP 基础、Transformer 架构、预训练语言模型一路讲到 LLM 训练、Tokenizer、预训练、SFT、PEFT、RAG 和 Agent 应用。

如果你想真正弄懂大模型是怎么搭起来、怎么训练、怎么落到应用里的，这个专题可以按顺序慢慢刷。前半部分补原理，后半部分上手实践，读完会比只看碎片文章扎实很多。

学习路径

先读前言和环境准备，明确这套教程适合谁、需要什么基础、每章怎么跑起来。
继续读第一章到第四章，把 NLP、Transformer、PLM 和 LLM 的核心概念串起来。
第五章开始动手，从 LLaMA2 结构、Tokenizer、预训练和 SFT 入门小型大模型实现。
第六章进入工程训练实践，重点看 Transformers、DeepSpeed、PEFT、LoRA/QLoRA。
最后读第七章，把大模型能力用到评测、RAG 和 Agent 应用里。

章节目录

前言前言了解 Happy-LLM 的项目缘起、学习建议和适合人群。阅读准备学习与环境准备梳理分章依赖、硬件建议、环境准备和实践入口。阅读 01第一章 NLP 基础概念从 NLP 的任务、发展历程和文本表示开始，建立大模型学习的底座。阅读 02第二章 Transformer 架构系统学习注意力机制、Encoder-Decoder 和手写 Transformer 的关键模块。阅读 03第三章预训练语言模型理解 Encoder-only、Encoder-Decoder、Decoder-only 模型的演进与代表架构。阅读 04第四章大语言模型认识 LLM 的定义、能力、训练策略、涌现能力和常见风险。阅读 05第五章动手搭建大模型从 LLaMA2 模型结构、Tokenizer 到预训练和 SFT，完整动手搭一个小型 LLM。阅读 06第六章大模型训练流程实践围绕 Transformers、DeepSpeed、PEFT 等工具完成预训练、SFT 和高效微调。阅读 6.1第六章实践说明补充第六章代码目录、运行入口、环境建议和实践顺序。阅读 6.46.4 通过强化学习进行偏好对齐作为进阶专题，理解强化学习、奖励模型和偏好对齐的基本脉络。阅读 07第七章大模型应用学习模型评测、RAG 检索增强和 Agent 智能体应用实践。阅读

适合谁阅读

想从零系统学习大模型，而不是只会复制提示词的同学。
有 Python 基础，想补 Transformer、预训练、微调和工程实践的开发者。
准备做大模型项目、毕业设计、技术分享或面试复盘的同学。
已经用过 ChatGPT、DeepSeek、通义千问等工具，但想往底层原理走一步的人。

阅读建议

这套教程信息量比较大，建议按章节推进。前四章先建立概念，不用急着跑代码；第五章和第六章最好边看边动手，哪怕只用小样本跑通流程，也会比单纯看文章记得牢。第七章偏应用，可以结合你自己的业务场景去改造 RAG 或 Agent Demo。