我理解LLM架構的工作流程
一種學習導向的工作流程，用於理解新發布的開源權重模型。從官方技術報告開始，但論文往往不夠詳細；然後利用Hugging Face上的配置文件和參考實現來獲取架構細節。這個過程主要是手動的，適合開源權重模型，並且手動操作是學習架構的最佳練習之一。
文章情報
工程師進階
要點
- 從官方技術報告開始，但論文現在往往不夠詳細
- 利用Hugging Face上的配置文件和參考實現來獲取架構細節
- 這個過程主要是手動的，適合開源權重模型
- 手動操作是學習架構的最佳練習之一
為甚麼重要
這條新聞值得關注，因為從官方技術報告開始，但論文現在往往不夠詳細。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
過去幾個月，很多人問我，我在文章、演講和LLM-Gallery中使用的LLM架構草圖是如何生成的。因此，我認為記錄一下我通常遵循的流程會很有用。
簡而言之，我通常從官方技術報告開始。但如今，論文往往不如以前詳細，特別是對於大多數來自工業實驗室的開源權重模型。好在如果權重在Hugging Face模型中心共享，並且模型在Python transformers庫中得到支持，我們就可以直接檢查配置文件（config file）和參考實現（reference implementation），從而獲取更多架構細節。畢竟，“工作的代碼”不會説謊。
需要説明的是，這個流程主要適用於開源權重模型，並不適用於像ChatGPT、Claude或Gemini這類權重和細節都專有的模型。此外，這故意是一個相當手動化的過程。你可以自動化部分步驟，但如果你目標是學習這些架構是如何工作的，那麼親手做幾次仍然是最好的練習之一。