本地使用Ollama部署DeepSeek
以下是在本地使用Ollama部署DeepSeek的详细教程,涵盖安装、修改安装目录、安装大模型以及删除大模型的操作步骤。
安装Ollama
1. 系统要求
确保你的系统满足以下条件:
- 操作系统:macOS、Linux或者Windows。
- 足够的磁盘空间和内存。
2. 安装步骤
- macOS:可以通过Homebrew来安装Ollama。
brew install ollama
- Linux:在Linux系统中,可以使用以下命令进行安装。
curl https://ollama.com/install.sh | sh
- Windows:从Ollama的官方网站(https://ollama.com/)下载Windows版本的安装程序,然后按照安装向导的提示完成安装。
- 注意:
Ollama默认安装目录是C盘的用户目录,如果不希望安装在C盘的话(其实C盘如果足够大放C盘也没事),就不能直接双击安装了。需要通过命令行安装。
-命令行安装方式如下:
在OllamaSetup.exe所在目录打开cmd命令行,然后命令如下:
OllamaSetup.exe /DIR=你要安装的目录位置
修改安装目录
在大多数情况下,Ollama默认会将模型和相关数据存储在特定的目录中。若要修改安装目录,可在启动Ollama时通过环境变量来指定。
Linux和macOS
编辑你的shell配置文件(如~/.bashrc
或~/.zshrc
),添加以下内容:
export OLLAMA_MODELS_DIR=/path/to/your/new/models/directory
保存文件后,使配置生效:
source ~/.bashrc # 如果你使用的是bash
source ~/.zshrc # 如果你使用的是zsh
Windows
在系统环境变量中添加一个名为OLLAMA_MODELS_DIR
的变量,其值为你想要的新安装目录路径。
安装DeepSeek大模型
在安装好Ollama之后,你可以使用以下命令来安装DeepSeek模型。以deepseek-coder:6.7b-base
为例:
ollama pull deepseek-coder:6.7b-base
该命令会从Ollama的模型库中下载deepseek-coder:6.7b-base
模型,并将其存储在之前指定的模型目录中。
查看大模型
若要查看已安装的大模型,可以使用以下命令:
ollama list
删除大模型
若要删除已安装的大模型,可以使用以下命令:
ollama rm deepseek-coder:6.7b-base
此命令会从本地删除deepseek-coder:6.7b-base
模型,释放相应的磁盘空间。
验证安装
安装完成后,你可以使用以下命令来验证模型是否正常工作:
ollama run deepseek-coder:6.7b-base "你的输入内容"
将你的输入内容
替换为你想要询问模型的具体问题,模型会输出相应的回答。
通过以上步骤,你就可以在本地使用Ollama部署DeepSeek模型,并对模型进行管理。