NanoEuler:純C/CUDA從零實現的GPT-2級語言模型
NanoEuler是一個完全用C/CUDA從零構建的GPT-2級語言模型,不使用PyTorch或自動求導。專案包含手寫的BPE分詞器、前向/反向傳播、在書籍和網路語料上的預訓練以及監督微調(SFT)。支援CPU和GPU訓練,GPU版本使用cuBLAS和FlashAttention。該模型是教育和研究性質的,展示了完整的訓練流程。
NanoEuler:純C/CUDA從零實現的GPT-2級語言模型
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。