当前位置: 首页 > news >正文

政安晨【超级AI工作流】—— 使用Dify通过工作流对接ComfyUI实现多工作流协同

政安晨的个人主页:政安晨

欢迎 👍点赞✍评论⭐收藏

希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!

目录

一、准备工作

Dify跑起来

ollama局域网化配置

Dify配置并验证

启动ComfyUI

二、工作流文生图测试

最后,祝大家好运


未来基于AI工作流的生活将成为常态,大家从现在就开始了解并使用起来,好处满满,让我们开始这个有趣的尝试。

通过我前面的文章,相信小伙伴们自己电脑上已经安装了Dify、ComfyUI、Ollama这些工具。

我们接下来就把这些零碎儿全组织起来。

一、准备工作

Dify跑起来

查看一下本地的docker容器:

sudo docker ps

参照我这篇文章(进入Dify目录):

政安晨【超级AI工作流】—— 基于Dify构建本地工作流,并调用Ollama的本地大模型开展工作-CSDN博客文章浏览阅读607次,点赞13次,收藏10次。市面上目前工作流分为几种形式,一种是以Coze为代表的基于网页的工作流形式,另一种以langchain与llamaindex为主的基于代码框架的形式。而开源的webui工作流框架主要有这类基于webui 的工作流。我们选择Dify作为未来本地工作流的基础框架。 https://blog.csdn.net/snowdenkeke/article/details/146377096在正确的目录下执行:

sudo docker compose up -d

开启后,本地访问:

localhost/signin

在本地运行的话,我们工作流中的很多模型要靠如ollama这样的工具提供,并且很多情况下,可能工作流部署在一台主机上,大模型部署在局域网中的另外主机上,由此,我们将需要把ollama配置成局域网可以访问的模式。

ollama局域网化配置

去官网正常安装ollama之后,我们开始配置:
 

sudo vim /etc/systemd/system/ollama.service

当前配置如下: 

我们要修改这个文件,修改前最好先备份一下:

sudo cp /etc/systemd/system/ollama.service /etc/systemd/system/ollama.service.org_bak

修改如下(可以更换端口号):


Environment="OLLAMA_HOST=0.0.0.0:11434"

同时,需要修改User和Group。

为了完成修改,先查看

ollama serve

如果像我这样报错,停止一下ollama服务:

sudo systemctl stop ollama

再执行上面的命令你会看到这样:

如果你还是不放心,你可以再重启一下ollama服务: 

sudo systemctl restart ollama

执行 

ls -l ~/.ollama/models/

显示如下: 

可以看到我的User和Group都是tongyuzhou,这两个参数也要在上面的配置文件中进行修改。

为什么要这样做?

因为你安装ollama的时候,注册了一个名叫ollama的用户(User),你需要确认你的 service 文件上配置的是 ls -l ~/.ollama/models 命令出来的的用户和分组!,而不是ollama!
否则,会出现你调不出 api的情况。

当然,有些时候你的ollama模型并不是放到这个目录下,那就去找到你的模型位置,看一下用户和分组,使用模型的用户和分组配置,由于我的模型就是ollama的用户和分组,所以,我修改后的文件是这样的:

保存退出并重启服务:

:wq
sudo systemctl restart ollama

如果发现有错误,按提示操作:

确认ollama局域网服务是否正常:

http://your_ip_addr:11434/api/tags

我的ollama服务地址如下:

http://172.23.1.12:11434/api/tags

修改不正确的话,你可能会看到这样:

我的是这样的:

OK,现在你的ollama局域网能力配置好了。

Dify配置并验证

现在,你可以继续在Dify中配置模型,你看到的是这样的:

我的是这样的:

配置好之后,用工作流测试一下大模型的运行:

确认一切正常后,让我们继续。

启动ComfyUI

不知道怎么在Linux Ubuntu上部署ComfyUI的小伙伴查看我的这篇文章:

政安晨【零基础玩转各类开源AI项目】Wan 2.1 本地部署,基于ComfyUI运行,最强文生视频 & 图生视频,一键生成高质量影片_savewebm node-CSDN博客文章浏览阅读948次,点赞9次,收藏11次。希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!我们今天要使用的Wan2.1模型,文生视频与图生视频,效果很不错,我以前的文章部署过comfyUI:政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署ComfyUI:功能最强大、模块化程度最高的Stable Diffusion图形用户界面和后台_comfyui ubuntu-CSDN博客ComfyUI这套框架可让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。_savewebm node https://blog.csdn.net/snowdenkeke/article/details/146154907该命令查看虚拟环境:

conda info --envs

激活虚拟环境:

conda activate comfyui

进入ComfyUI目录并执行:

cd ComfyUI
python main.py --listen 0.0.0.0 --port 8188

首先用浏览器访问一下comfyUI:

我的本地地址:

http://172.23.1.12:8188/

确认正常后我们继续。

二、工作流文生图测试

新建节点:

右键新建节点,然后 搜工具 ComfyUI

插件市场安装完成后,去授权一下:

输入你的服务地址:http://your_ip_addr:8188

该插件如果在线安装无法成功的话可以选择本地安装。

接下来有个繁琐的工作是你要把下面这些模型配置上去:

同时你也可以调用ComfyUI的工作流:

这样:

仔细核对每一项 

 

配置好之后,就可以把下面这个工作流在dify中跑起来:

时间有限,我准备一下相关模型,在今后的篇章中调用更多的工作流。

最后,祝大家好运

工作很复杂,也是一个细活,且行且用心吧。

相关文章:

  • 一道积分_2
  • PostgreSQL:数据类型与运算符
  • JDBC 连接字连接 KingbaseES支持主从负载均衡参数说明。
  • 人是怎么变强的?
  • Redis 内存优化
  • [C++游戏开发基础]:构造函数浅析,8000+字长文
  • 3.22日竞蓝全扫盘
  • git的底层原理
  • 参数问题~
  • 如何区别在Spring Boot 2 和 Spring Boot 3 中使用 Knife4j:集成与配置指南
  • SinoSteel生产企业ERP实施建议书final(143页PPT)(文末有下载方式)
  • 数据库:一文掌握 GraphQL 的各种指令(GraphQL指令备忘)
  • 【HDLBits】Circuits—Combinational Logic合集(包含答案推导过程)
  • 有序数组双指针问题
  • Flutter TextFormField 完全手册与设计最佳实践
  • MyBatis 中 #{} 和 ${} 的区别详解
  • 前沿分享|处理LLM幻觉问题-CoN|笔记链:增强检索增强语言模型的鲁棒性
  • 数据中台建设系列(一):数据中台的前世今生
  • Spring AI Alibaba ChatModel使用
  • debian12 安装docker服务
  • 北京画院上海“点画”:评论家展场一对一评点
  • 我国翻译从业人员达680.8万人,行业总需求仍在上升
  • 173.9亿人次!一季度我国交通出行火热
  • “听公交时听一听”,上海宝山街头遍布“有声图书馆”
  • 山西公布商标侵权典型案例:一工厂生产价值三百多万假“维达”纸被查
  • 哈佛大学就联邦经费遭冻结起诉特朗普政府