FareedKhan 作者

教程用PyTorch从零复现Transformer语言模型，覆盖The Pile数据下载、预处理、训练、生成与代码解析，支持1300万至20亿参数规模；项目模块化实现MLP、自注意力、因果掩码、Transformer块、嵌入和位置编码，并给出GPU显存与可训练规模参考。