Unsloth：輕鬆在本地執行和訓練模型

Unsloth 是一款專為簡化 AI 模型本地部署與訓練而設計的工具。其核心產品 Unsloth Studio 能夠在 Mac 和 Windows 裝置上實現 100% 離線執行，無需依賴雲端服務。它支援 GGUF 和 Safetensors 兩種主流模型格式，並整合了工具呼叫、網路搜尋以及 OpenAI 相容 API 等功能，使使用者可以輕鬆地進行模型推理、上傳圖片、文件、音訊和程式碼檔案，甚至並排比較不同模型的輸出結果。

在訓練方面，Unsloth 提供了直觀的無程式碼訓練介面。使用者可以透過內建的“資料食譜”功能，從 PDF、CSV 和 JSON 等文件中自動建立資料集，並即時監控訓練進度。Unsloth 的自定義核心針對 LoRA、FP8、FFT、PT 等多種最佳化技術進行了深度最佳化，支援超過 500 個模型，涵蓋文本、視覺、音訊和嵌入等不同領域。此外，Unsloth 的模型競技場允許使用者同時與兩個不同的模型進行對話，例如比較基礎模型和微調模型的輸出差異，從而快速評估模型效能。訓練完成後，使用者還可以將模型匯出為 safetensors 或 GGUF 格式，以便在 llama.cpp、vLLM、Ollama 等流行推理框架中使用。

Unsloth 提供多個版本以滿足不同需求。免費開源版本支援在單個 NVIDIA GPU 上實現 2 倍的訓練加速，並可在 Google Colab 或 Kaggle Notebooks 上免費使用。付費版本包括 Pro 和 Enterprise：Pro 版本提供 2.5 倍的訓練加速和 20% 的記憶體節省，支援最多 8 個 GPU；Enterprise 版本則提供 30 倍的訓練加速、多節點支援、30% 的準確率提升以及 5 倍的推理加速，幷包含所有 Pro 功能及專屬客戶支援。Unsloth 還強調其技術更環保，透過最佳化計算效率顯著降低硬體成本和能源消耗。