構造化LLM学習パス:ゼロからAI研究者への8フェーズカリキュラム
トランスフォーマー、事前学習、ファインチューニング、アライメント、推論、プロンプティング、エージェント、先端研究をカバーする自己ペースのカリキュラム。完了まで約5ヶ月(深層学習経験者は3ヶ月)。
このGitHubリポジトリは、大規模言語モデル(LLM)とLLMベースのエージェントを習得するための体系的な自己学習パスを提供します。カリキュラムは8つのフェーズで構成され、完了まで約5ヶ月(深層学習経験者は約3ヶ月)を目安としています。各フェーズにはREADMEが用意され、学習目標、読書リスト、演習が記載されています。学習者はフェーズごとに進め、notesフォルダにメモを取り、チェックボックスで進捗を管理し、reading-logで論文を記録します。
フェーズ1(基礎)では、中級以上のPython、線形代数(ベクトル、行列、内積)、微積分(微分、連鎖律)、確率論(分布、ベイズの定理)を前提とします。フェーズ2(トランスフォーマー)ではアーキテクチャを深く学び、フェーズ3(事前学習とスケーリング)ではスケーリング則を探求します。フェーズ4(ファインチューニングとアライメント)では教師あり学習やRLHFを扱います。フェーズ5(推論とデプロイ)では最適化手法、フェーズ6(プロンプティングと推論)では連鎖思考などを学びます。フェーズ7(LLMエージェント)では自律エージェントを構築し、フェーズ8(先端研究)では最新論文や未解決問題に取り組みます。
主なリソースとして、Karpathyの「NN: Zero to Hero」動画シリーズ、HuggingFaceのLLMコース、Lilian Wengのブログ、Papers With Code、arXiv cs.CLを活用します。この学習パスはオープンソースであり、フォークや修正、共有が自由に行えます。