NanoEuler：純粋なC/CUDAでスクラッチから構築したGPT-2スケールの言語モデル

NanoEulerは、PyTorchや自動微分を使わずに、C/CUDAだけでスクラッチから構築されたGPT-2クラスの言語モデルです。手書きのBPEトークナイザー、順伝播・逆伝播、書籍とWebコーパスでの事前学習、教師ありファインチューニング（SFT）を含みます。CPUで動作する小型モデルと、cuBLASとFlashAttentionを使用するGPUモデルの2つの構成があります。教育的な成果物であり、完全なトレーニングパイプラインを示しています。