如何使用QLoRA和DPO在Google Colab上微調LFM2：完整的分步編程教程

本教程詳細介紹瞭如何在Google Colab上使用QLoRA、監督微調（SFT）和直接偏好優化（DPO）微調Liquid AI的LFM2模型。包括加載模型、準備數據集、訓練LoRA適配器、合併適配器以及進行DPO訓練的全流程，最終獲得一個可部署的模型檢查點。