当前位置: 首页 > news >正文

将后缀为GGUF 模型,运行在Ollama

1.新建modelfile文件

例如:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

2.编辑modelfile文件

假如模型名字为:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

3.gguf模型位置

DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf模型放在和上面创建modelfile目录夹下
在这里插入图片描述

4.打开cmd窗口

win键+R

5.输入命令

$ ollama create <你想要的模型名字> -f Modelfile

ollama create DeepSeek-R1-Distill-Qwen-1.5B-Q8_0 -f C:\**\Modelfile\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

6.出现success就证明成功

在这里插入图片描述

7.启动模型

ollama run DeepSeek-R1-Distill-Qwen-1.5B-Q8_0

在这里插入图片描述
参考地址:抓別人的 GGUF 模型,用 Ollama 在本機執行!

相关文章:

  • 如何自己做奶茶,从此告别奶茶店
  • 基于Spring Boot的小区疫情购物系统的设计与实现(LW+源码+讲解)
  • 【从零开始学习计算机科学】数据库系统(三)关系数据库设计
  • 2024年第十五届蓝桥杯软件C/C++大学A组——五子棋对弈
  • Pandas真实案例进阶:从数据清洗到高性能分析的完整指南
  • 数据结构与算法——哈希表,数组加强哈希表,双链表加强哈希表
  • 【算法day9】回文数-给你一个整数 x ,如果 x 是一个回文整数,返回 true ;否则,返回 false 。
  • Python和FastAPI框架开发和容器化部署AWS上支持多种LLM和向量数据库的微服务API
  • Mysql的utf8mb4_general_ci 与 utf8mb4_bin 的具体区别是什么?中文适合哪个?
  • 如何使用 ONLYOFFICE 宏对 PDF 表单中的特定字段执行计算
  • Gemini Robotics:Google DeepMind 让 AI 机器人真正“动”起来!
  • DeepSeek模型本地化部署方案及Python实现
  • Linux笔记---文件系统硬件部分
  • 大语言模型学习及复习笔记(1)语言模型的发展历程
  • TTL肖特基触发器
  • 睡不着营养补充贴士
  • 特种作业高压电工考试练习题库
  • 每日一题----------set接口及其内容(未)
  • 嵌入式人工智能应用- 第八章 车牌识别
  • AI应用加速落地丨MaxKB正在被政府、公共事业、教育和医疗行业用户广泛采纳
  • 李彦宏:DeepSeek不是万能,多模态将是未来基础模型的标配
  • 目前中美未进行任何经贸谈判,外交部、商务部再次表明中方立场
  • 男子闲鱼卖手机卷入电诈案后成“网逃”续:警方已排除其作案嫌疑
  • 今年一季度上海离境退税商品销售额7.6亿元,同比增85%
  • 173.9亿人次!一季度我国交通出行火热
  • 泽连斯基提议乌俄“立即、全面和无条件”停火