Unsloth：輕鬆在本地運行和訓練模型

Unsloth 是一款專為簡化 AI 模型本地部署與訓練而設計的工具。其核心產品 Unsloth Studio 能夠在 Mac 和 Windows 設備上實現 100% 離線運行，無需依賴雲端服務。它支持 GGUF 和 Safetensors 兩種主流模型格式，並集成了工具調用、網絡搜索以及 OpenAI 兼容 API 等功能，使用户可以輕鬆地進行模型推理、上傳圖片、文檔、音頻和代碼文件，甚至並排比較不同模型的輸出結果。

在訓練方面，Unsloth 提供了直觀的無代碼訓練界面。用户可以通過內置的“數據食譜”功能，從 PDF、CSV 和 JSON 等文檔中自動創建數據集，並實時監控訓練進度。Unsloth 的自定義內核針對 LoRA、FP8、FFT、PT 等多種優化技術進行了深度優化，支持超過 500 個模型，涵蓋文本、視覺、音頻和嵌入等不同領域。此外，Unsloth 的模型競技場允許用户同時與兩個不同的模型進行對話，例如比較基礎模型和微調模型的輸出差異，從而快速評估模型性能。訓練完成後，用户還可以將模型導出為 safetensors 或 GGUF 格式，以便在 llama.cpp、vLLM、Ollama 等流行推理框架中使用。

Unsloth 提供多個版本以滿足不同需求。免費開源版本支持在單個 NVIDIA GPU 上實現 2 倍的訓練加速，並可在 Google Colab 或 Kaggle Notebooks 上免費使用。付費版本包括 Pro 和 Enterprise：Pro 版本提供 2.5 倍的訓練加速和 20% 的內存節省，支持最多 8 個 GPU；Enterprise 版本則提供 30 倍的訓練加速、多節點支持、30% 的準確率提升以及 5 倍的推理加速，幷包含所有 Pro 功能及專屬客户支持。Unsloth 還強調其技術更環保，通過優化計算效率顯著降低硬件成本和能源消耗。