Unsloth：轻松在本地运行和训练模型

Unsloth 是一款专为简化 AI 模型本地部署与训练而设计的工具。其核心产品 Unsloth Studio 能够在 Mac 和 Windows 设备上实现 100% 离线运行，无需依赖云端服务。它支持 GGUF 和 Safetensors 两种主流模型格式，并集成了工具调用、网络搜索以及 OpenAI 兼容 API 等功能，使用户可以轻松地进行模型推理、上传图片、文档、音频和代码文件，甚至并排比较不同模型的输出结果。

在训练方面，Unsloth 提供了直观的无代码训练界面。用户可以通过内置的“数据食谱”功能，从 PDF、CSV 和 JSON 等文档中自动创建数据集，并实时监控训练进度。Unsloth 的自定义内核针对 LoRA、FP8、FFT、PT 等多种优化技术进行了深度优化，支持超过 500 个模型，涵盖文本、视觉、音频和嵌入等不同领域。此外，Unsloth 的模型竞技场允许用户同时与两个不同的模型进行对话，例如比较基础模型和微调模型的输出差异，从而快速评估模型性能。训练完成后，用户还可以将模型导出为 safetensors 或 GGUF 格式，以便在 llama.cpp、vLLM、Ollama 等流行推理框架中使用。

Unsloth 提供多个版本以满足不同需求。免费开源版本支持在单个 NVIDIA GPU 上实现 2 倍的训练加速，并可在 Google Colab 或 Kaggle Notebooks 上免费使用。付费版本包括 Pro 和 Enterprise：Pro 版本提供 2.5 倍的训练加速和 20% 的内存节省，支持最多 8 个 GPU；Enterprise 版本则提供 30 倍的训练加速、多节点支持、30% 的准确率提升以及 5 倍的推理加速，并包含所有 Pro 功能及专属客户支持。Unsloth 还强调其技术更环保，通过优化计算效率显著降低硬件成本和能源消耗。