ファインチューニングは、大規模言語モデル（LLM）の応用において最も一般的な技術の一つです。しかし、ファインチューニングを真に理解するには、その前段階である事前学習を理解する必要があります。事前学習とは、膨大なデータを使って汎用的なモデルを訓練し、言語の基本的な知識を獲得させることです。例えば、モデルに次の単語を予測させることで、文法、事実、推論パターンを学習させます。事前学習済みのモデルは基盤モデルと呼ばれ、Llama、Mistral、Qwenなどがあります。通常、自分で事前学習を行うことはなく、これらの既存のモデルをダウンロードして利用します。事前学習には膨大な計算リソースとデータが必要ですが、一度完了するとモデルは言語を理解できるようになり、後続のタスクの強固な基盤となります。
ファインチューニングは、事前学習済みモデルをベースに、特定のタスクのデータを使ってさらに訓練し、特定のニーズに適応させるプロセスです。事前学習に比べ、必要なデータ量ははるかに少なく、計算コストも低く抑えられます。ファインチューニングの過程は、料理学校を卒業したシェフがレストランで特定の料理を学ぶのに似ています。ファインチューニングの鍵は、少量の高品質なタスク固有データを使用し、学習率を低く設定して、モデルの既存の汎用能力を上書きしないようにすることです。
ファインチューニングには主に2つのタイプがあります。フルファインチューニングとパラメータ効率的ファインチューニング（PEFT）です。フルファインチューニングではモデルの全パラメータを更新するため、大量のメモリと計算リソースが必要であり、破滅的忘却（新しいタスクを学習する一方で元の汎用能力を失うこと）のリスクがあります。PEFTでは、元のモデルのパラメータをすべて固定し、ごく少数の新しい訓練可能なパラメータのみを導入します。LoRAやQLoRAなどの手法がこれにあたります。PEFTはメモリ消費が少なく、訓練時間も短く、忘却のリスクが低いため、現在LLMのファインチューニングでは標準的に使われています。
ただし、ファインチューニングが常に最適な解決策とは限りません。プロンプトを改善するだけで問題が解決することもありますし、検索拡張生成（RAG）は大量または頻繁に変化する知識を扱う場合に適しています。実際のアプリケーションでは、これらの手法を組み合わせて使うことが一般的です。例えば、RAGで関連情報を検索し、ファインチューニングでモデルのスタイルや振る舞いを最適化するといった使い方が考えられます。
ファインチューニングを実践したい場合は、Hugging FaceのPEFTライブラリ、UnslothのQLoRAノートブック、Axolotlなどのツールから始めることをお勧めします。小さなモデル（例えば8BパラメータのLlamaやQwen）を選び、数百のクリーンなタスクデータでファインチューニングを実行し、訓練損失が減少するのを観察すれば、この記事の概念がより具体的に理解できるでしょう。さらに詳しく学びたい場合は、LoRAやQLoRAの元論文を読むことも推奨します。要するに、ファインチューニングは事前学習済みモデルを特定のタスクに適応させる強力な手法ですが、状況に応じて適切な方法を選ぶことが重要です。