开源项目 全部文章

microgpt以200行无依赖Python把数据集、字符级分词、自写autograd、类GPT-2网络、Adam训练与采样推理压进单文件，在3.2万姓名上训练1000步使loss约3.3降至2.37并生成新名字，结论是GPT训练与生成的算法本质可被极简复现，生产差异主要在规模与工程效率。