结构化LLM学习路径:从零到AI研究员的八阶段课程
一个自定进度的结构化课程,涵盖Transformer、预训练、微调、对齐、推理、提示工程、智能体及前沿研究,预计5个月完成。
该GitHub仓库提供了一条从零基础到AI研究员的完整学习路径,专注于掌握大型语言模型(LLM)及其驱动的智能体。整个课程采用自定进度设计,分为八个阶段,预计耗时约5个月;若有深度学习经验,可缩短至3个月。每个阶段包含详细的README文件,列明学习目标、阅读材料和练习,学习者可逐阶段推进,并利用笔记文件夹记录心得,通过复选框跟踪进度,还设有阅读日志管理已读论文。
课程结构方面,第一阶段为基础巩固(2-3周),要求学习者具备中级Python编程、线性代数(向量、矩阵、点积)、微积分(导数、链式法则)和概率论(分布、贝叶斯定理)。第二阶段深入Transformer架构(2-3周)。第三阶段研究预训练与缩放定律(2-3周)。第四阶段涵盖微调与对齐技术(2-3周),包括监督微调、RLHF等。第五阶段聚焦推理优化与部署(1-2周)。第六阶段学习提示工程与链式推理(1-2周)。第七阶段构建智能体系统(2-4周)。第八阶段为持续的前沿研究探索。
课程整合了多个优质资源,如Karpathy的“NN: Zero to Hero”视频系列、HuggingFace的LLM课程、Lilian Weng的博客、Papers With Code以及arXiv的cs.CL论文列表。整个学习路径采用开源许可证,允许自由fork、修改和分享,适合希望系统学习LLM的研究者和工程师。