将后缀为GGUF 模型,运行在Ollama
1.新建modelfile文件
例如:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile
2.编辑modelfile文件
假如模型名字为:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
3.gguf模型位置
DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf模型放在和上面创建modelfile
目录夹下
4.打开cmd窗口
win键+R
5.输入命令
$ ollama create <你想要的模型名字> -f Modelfile
ollama create DeepSeek-R1-Distill-Qwen-1.5B-Q8_0 -f C:\**\Modelfile\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile
6.出现success就证明成功
7.启动模型
ollama run DeepSeek-R1-Distill-Qwen-1.5B-Q8_0
参考地址:抓別人的 GGUF 模型,用 Ollama 在本機執行!