結構化LLM學習路徑:從零到AI研究員的八階段課程
一個自定進度的結構化課程,涵蓋Transformer、預訓練、微調、對齊、推理、提示工程、智慧體及前沿研究,預計5個月完成。
該GitHub倉庫提供了一條從零基礎到AI研究員的完整學習路徑,專注於掌握大型語言模型(LLM)及其驅動的智慧體。整個課程採用自定進度設計,分為八個階段,預計耗時約5個月;若有深度學習經驗,可縮短至3個月。每個階段包含詳細的README檔案,列明學習目標、閱讀材料和練習,學習者可逐階段推進,並利用筆記資料夾記錄心得,透過核取方塊跟蹤進度,還設有閱讀日誌管理已讀論文。
課程結構方面,第一階段為基礎鞏固(2-3周),要求學習者具備中級Python程式設計、線性代數(向量、矩陣、點積)、微積分(導數、鏈式法則)和機率論(分佈、貝葉斯定理)。第二階段深入Transformer架構(2-3周)。第三階段研究預訓練與縮放定律(2-3周)。第四階段涵蓋微調與對齊技術(2-3周),包括監督微調、RLHF等。第五階段聚焦推理最佳化與部署(1-2周)。第六階段學習提示工程與鏈式推理(1-2周)。第七階段構建智慧體系統(2-4周)。第八階段為持續的前沿研究探索。
課程整合了多個優質資源,如Karpathy的“NN: Zero to Hero”影片系列、HuggingFace的LLM課程、Lilian Weng的部落格、Papers With Code以及arXiv的cs.CL論文列表。整個學習路徑採用開源許可證,允許自由fork、修改和分享,適合希望系統學習LLM的研究者和工程師。