从零构建大型语言模型

《Build a Large Language Model (From Scratch)》官方代码库，包含从零构建GPT类LLM的完整代码，涵盖预训练、微调及推理实现。仓库提供7章核心内容、5个技术附录及大量 bonus 材料（如多种现代架构实现），支持普通笔记本电脑运行，并附带视频课程与续作《Build A Reasoning Model (From Scratch)》的链接。

• 核心目标与内容: 通过逐步编码实现教育用途的小型功能模型，方法对标ChatGPT等大规模基础模型的构建流程，并支持加载更大预训练权重进行微调。
• 章节结构: 第1-7章覆盖LLM原理理解、文本数据处理、注意力机制编码、GPT从零实现、无标签数据预训练、文本分类微调及指令跟随微调；附录涵盖PyTorch入门、训练优化技巧与LoRA参数高效微调。
• 技术实现特点: 纯PyTorch实现，不依赖外部LLM库；主章节代码可在常规笔记本运行，自动检测GPU可用性；提供多种现代架构的从零实现，包括Llama 3.2、Qwen3、Gemma 3/4、Mixture-of-Experts等。
• 配套资源: 17小时15分钟视频课程、170页免费自测PDF、各章节练习解答及推理模型续作仓库；提供Docker环境配置指南与常见故障排查文档。