過去数ヶ月、私の記事や講演、LLM-Galleryで使っているLLMアーキテクチャのスケッチや図をどのように作成しているのか、多くの人から質問を受けました。そこで、私が普段行っているプロセスを文書化しておくと便利だと思いました。
簡単に言うと、私は通常、公式のテクニカルレポートから始めます。しかし近年、論文は以前ほど詳細ではなくなってきており、特に産業界のラボからのほとんどのオープンウェイトモデルではその傾向が顕著です。良い点は、Hugging Face Model Hubで重みが共有され、モデルがPythonのtransformersライブラリでサポートされていれば、設定ファイルとリファレンス実装を直接調べて、アーキテクチャの詳細についてより多くの情報を得られることです。そして「動作する」コードは嘘をつきません。
ただし、これは主にオープンウェイトモデルのためのワークフローであり、ChatGPT、Claude、Geminiのように重みや詳細がプロプライエタリなモデルには適用できません。また、これは意図的にかなり手動のプロセスです。一部を自動化することも可能ですが、アーキテクチャがどのように動作するかを学ぶことが目的なら、手動で数回行うことが依然として最良の練習の一つだと思います。