当前位置：首页 > news >正文

通过conda安装unsloth

news 来源：原创 2025/4/28 18:25:56

一、通过 Conda 安装 Unsloth 的详细步骤，将帮助在本地环境中设置并使用 Unsloth 进行大语言模型的微调和推理。

步骤 1：安装 Anaconda 或 Miniconda

如果你尚未安装 Anaconda 或 Miniconda，请先从以下链接下载并安装：

Anaconda 官网
Miniconda 官网

安装完成后，打开 Anaconda Prompt 或终端。

步骤 2：创建新的 Conda 环境

创建一个新的 Conda 环境，推荐使用 Python 3.11 或更高版本。你可以根据需要选择合适的 Python 版本。

bash复制

conda create --name unsloth_env python=3.11

激活新创建的环境：

bash复制

conda activate unsloth_env

步骤 3：安装 PyTorch 和 CUDA 工具包

根据你的系统配置和 GPU 类型，安装合适的 PyTorch 和 CUDA 工具包。以下是安装命令的示例：

对于 CUDA 12.1：

bash复制

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

如果你没有 GPU 或不需要 GPU 支持，可以安装 CPU 版本的 PyTorch：

bash复制

conda install pytorch torchvision torchaudio cpuonly -c pytorch

步骤 4：安装 Unsloth

目前，Unsloth 的安装需要从源代码进行。运行以下命令来安装需要cuda121版本的 Unsloth 及其依赖项：

需要先安装git :conda install git -y

bash复制

pip install "unsloth[cuda121-torch200] @ git+https://github.com/unslothai/unsloth.git"

由于没有 GPU，可以忽略 CUDA 相关的依赖项，直接安装 CPU 版本的依赖项。

bash复制

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

可以改为手动安装，如下分步实施的代码：

手动克隆仓库
如果上述方法都无法解决问题，你可以尝试手动克隆仓库，然后安装：
打开终端或命令提示符，运行以下命令克隆仓库：
bash
复制
git clone https://github.com/unslothai/unsloth.git
进入克隆的仓库目录：
bash
复制
cd unsloth
使用 pip 安装：
bash
复制
pip install ".[colab-new]"

无论是否使用cuda，都还需要安装一些额外的依赖项：

bash复制

pip install --no-deps trl peft accelerate bitsandbytes

步骤 5：验证安装

安装完成后，可以通过以下命令验证 Unsloth 是否安装成功：

bash复制

python -c "import unsloth; print(unsloth.__version__)"

如果输出了版本号，则表示安装成功。

步骤 6：使用 Unsloth

以下是一个简单的代码示例，展示如何使用 Unsloth 微调一个 Llama 模型：

Python复制

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

# 加载数据集
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={
   "train": url}, split="train")