llm-run之Unsloth
Unsloth 是一个专注于高效本地运行与微调大语言模型（LLM）的开源项目，以“更快、更省显存、精度几乎无损”著称，并在 Hugging Face 上拥有非常活跃的官方组织与大量优化模型。
核心定位
- 官方 Hugging Face 组织：
unsloth - 官网：https://unsloth.ai
- GitHub：https://github.com/unslothai/unsloth
- 定位：让普通人也能在本地高效运行和微调开源大模型
它既是一个高性能微调库，也已经发展成带图形界面的本地工具Unsloth Studio。
主要功能与优势
| 功能 | 说明 |
|---|---|
| 高效微调 | 支持 LoRA / QLoRA / 全参数微调 / 强化学习（RL）等。相比标准方法可达到约 2× 训练速度，显存节省 **60%~80%**，精度几乎无损失。 |
| 自定义内核 | 使用自研 Triton 数学内核 + PyTorch，深度优化注意力、MoE 等计算。 |
| 多模态支持 | 支持文本、视觉、音频、Embedding 模型的训练与推理。 |
| 量化与导出 | 提供高质量的 Dynamic 2.0 GGUF、4-bit、NVFP4 等量化版本，可直接导出到 Ollama、llama.cpp、vLLM 等。 |
| Unsloth Studio | 近期重点推出的本地 Web UI（Beta），支持无代码训练、聊天、工具调用、联网搜索、模型对比、数据配方生成等。100% 本地离线运行。 |