当前位置: 首页 > news >正文

FastGPT Docker Compose本地部署与硅基流动免费AI接口集成指南

本文参考:https://doc.tryfastgpt.ai/docs/development/

一、背景与技术优势

FastGPT是基于LLM的知识库问答系统,支持自定义数据训练与多模型接入。硅基流动(SiliconFlow)作为AI基础设施平台,提供高性能大模型推理引擎SiliconLLM和免费API服务。通过Docker部署FastGPT并结合硅基流动API,可实现低成本、高灵活性的AI应用开发。

技术优势

  1. 本地数据隐私:敏感数据无需上传云端,符合《数据安全法》要求。

  2. 成本优化:硅基流动提供Qwen2-7B、GLM-4-9B等模型永久免费API,降低Token成本。

  3. 性能加速:硅基流动自研推理引擎SiliconLLM生成速度较开源产品快10倍。

二、环境准备

1. 系统要求

  • 操作系统:Linux(推荐Ubuntu 22.04)

  • 硬件:至少8GB内存,推荐NVIDIA GPU(如RTX 3060)

  • 软件:Docker 24.0+、Docker Compose 2.20+

2. 安装Docker与Docker Compose

Centos7一键安装docker

yum install nano -y

nano install_docker.sh

#!/bin/bash
​
# 设置阿里云的YUM仓库
cat > /etc/yum.repos.d/docker-ce.repo <<EOF
[docker-ce-stable]
name=Docker CE Stable - \$basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/\$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF
​
# 安装所需的包
yum install -y yum-utils device-mapper-persistent-data lvm2
​
# 更新YUM缓存
yum makecache fast
​
# 安装nano
yum -y install nano
​
# 安装Docker CE
yum install -y docker-ce
​
# 启用Docker服务(开机自启)
systemctl enable docker
​
# 启动Docker服务
systemctl start docker
​
echo "Docker has been installed and started!"
​
# chmod +x install_docker.sh;sh install_docker.sh
​

docker阿里云镜像

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<EOF
{"registry-mirrors": ["https://docker.1panel.live"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

三、FastGPT Docker部署

1. 创建项目目录

进入你的安装根目录,例如/home

mkdir fastgpt && cd fastgpt

2. 下载配置文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml

config.json 2025年4月21日

// 已使用 json5 进行解析,会自动去掉注释,无需手动去除
{"feConfigs": {"lafEnv": "https://laf.dev", // laf环境。 https://laf.run (杭州阿里云) ,或者私有化的laf环境。如果使用 Laf openapi 功能,需要最新版的 laf 。"mcpServerProxyEndpoint": "" // mcp server 代理地址,例如: http://localhost:3005},"systemEnv": {"vectorMaxProcess": 10, // 向量处理线程数量"qaMaxProcess": 10, // 问答拆分线程数量"vlmMaxProcess": 10, // 图片理解模型最大处理进程"tokenWorkers": 30, // Token 计算线程保持数,会持续占用内存,不能设置太大。"hnswEfSearch": 100, // 向量搜索参数,仅对 PG 和 OB 生效。越大,搜索越精确,但是速度越慢。设置为100,有99%+精度。"customPdfParse": {"url": "", // 自定义 PDF 解析服务地址"key": "", // 自定义 PDF 解析服务密钥"doc2xKey": "", // doc2x 服务密钥"price": 0 // PDF 解析服务价格}}
}

docker-compose. yml PgVector版本 2025年4月21日

# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码,记得改数据库和项目连接参数,别只改一处~
# 该配置文件只是给快速启动,测试使用。正式使用,记得务必修改账号密码,以及调整合适的知识库参数,共享内存等。
# 如何无法访问 dockerhub 和 git,可以用阿里云(阿里云没有arm包)
​
version: '3.3'
services:# dbpg:image: pgvector/pgvector:0.8.0-pg15 # docker hub# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云container_name: pgrestart: always# ports: # 生产环境建议不要暴露#   - 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后,重启镜像是不会生效的。需要把持久化数据删除再重启,才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:image: mongo:5.0.18 # dockerhub# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云# image: mongo:4.4.29 # cpu不支持AVX时候使用container_name: mongorestart: always# ports:#   - 27017:27017networks:- fastgptcommand: mongod --keyFile /data/mongodb.key --replSet rs0environment:- MONGO_INITDB_ROOT_USERNAME=myusername- MONGO_INITDB_ROOT_PASSWORD=mypasswordvolumes:- ./mongo/data:/data/dbentrypoint:- bash- -c- |openssl rand -base64 128 > /data/mongodb.keychmod 400 /data/mongodb.keychown 999:999 /data/mongodb.keyecho 'const isInited = rs.status().ok === 1if(!isInited){rs.initiate({_id: "rs0",members: [{ _id: 0, host: "mongo:27017" }]})}' > /data/initReplicaSet.js# 启动MongoDB服务exec docker-entrypoint.sh "$$@" &
​# 等待MongoDB服务启动until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')"; doecho "Waiting for MongoDB to start..."sleep 2done
​# 执行初始化副本集的脚本mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js
​# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程wait $$!
​redis:image: redis:7.2-alpinecontainer_name: redis# ports:# - 6379:6379networks:- fastgptrestart: alwayscommand: |redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noevictionvolumes:- ./redis/data:/data
​# fastgptsandbox:container_name: sandboximage: ghcr.io/labring/fastgpt-sandbox:v4.9.6 # git# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.6 # 阿里云networks:- fastgptrestart: alwaysfastgpt-mcp-server:container_name: fastgpt-mcp-serverimage: ghcr.io/labring/fastgpt-mcp_server:v4.9.6 # git# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.6 # 阿里云ports:- 3005:3000networks:- fastgptrestart: alwaysenvironment:- FASTGPT_ENDPOINT=http://fastgpt:3000fastgpt:container_name: fastgptimage: ghcr.io/labring/fastgpt:v4.9.6 # git# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.6 # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pg- sandboxrestart: alwaysenvironment:# 前端外部可访问的地址,用于自动补全文件资源路径。例如 https:fastgpt.cn,不能填 localhost。这个值可以不填,不填则发给模型的图片会是一个相对路径,而不是全路径,模型可能伪造Host。- FE_DOMAIN=# root 密码,用户名为: root。如果需要修改 root 密码,直接修改这个环境变量,并重启即可。- DEFAULT_ROOT_PSW=1234# AI Proxy 的地址,如果配了该地址,优先使用- AIPROXY_API_ENDPOINT=http://aiproxy:3000# AI Proxy 的 Admin Token,与 AI Proxy 中的环境变量 ADMIN_KEY- AIPROXY_API_TOKEN=aiproxy# 数据库最大连接数- DB_MAX_LINK=30# 登录凭证密钥- TOKEN_KEY=any# root的密钥,常用于升级时候的初始化请求- ROOT_KEY=root_key# 文件阅读加密- FILE_TOKEN_KEY=filetoken# MongoDB 连接参数. 用户名myusername,密码mypassword。- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin# pg 连接参数- PG_URL=postgresql://username:password@pg:5432/postgres# Redis 连接参数- REDIS_URL=redis://default:mypassword@redis:6379# sandbox 地址- SANDBOX_URL=http://sandbox:3000# 日志等级: debug, info, warn, error- LOG_LEVEL=info- STORE_LOG_LEVEL=warn# 工作流最大运行次数- WORKFLOW_MAX_RUN_TIMES=1000# 批量执行节点,最大输入长度- WORKFLOW_MAX_LOOP_TIMES=100# 自定义跨域,不配置时,默认都允许跨域(多个域名通过逗号分割)- ALLOWED_ORIGINS=# 是否开启IP限制,默认不开启- USE_IP_LIMIT=false# 对话文件过期天数- CHAT_FILE_EXPIRE_TIME=7volumes:- ./config.json:/app/data/config.json
​# AI Proxyaiproxy:image: ghcr.io/labring/aiproxy:v0.1.7# image: registry.cn-hangzhou.aliyuncs.com/labring/aiproxy:v0.1.7 # 阿里云container_name: aiproxyrestart: unless-stoppeddepends_on:aiproxy_pg:condition: service_healthynetworks:- fastgptenvironment:# 对应 fastgpt 里的AIPROXY_API_TOKEN- ADMIN_KEY=aiproxy# 错误日志详情保存时间(小时)- LOG_DETAIL_STORAGE_HOURS=1# 数据库连接地址- SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy# 最大重试次数- RETRY_TIMES=3# 不需要计费- BILLING_ENABLED=false# 不需要严格检测模型- DISABLE_MODEL_CONFIG=truehealthcheck:test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']interval: 5stimeout: 5sretries: 10aiproxy_pg:image: pgvector/pgvector:0.8.0-pg15 # docker hub# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云restart: unless-stoppedcontainer_name: aiproxy_pgvolumes:- ./aiproxy_pg:/var/lib/postgresql/datanetworks:- fastgptenvironment:TZ: Asia/ShanghaiPOSTGRES_USER: postgresPOSTGRES_DB: aiproxyPOSTGRES_PASSWORD: aiproxyhealthcheck:test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']interval: 5stimeout: 5sretries: 10
networks:fastgpt:

3. 修改配置文件

编辑docker-compose.yml​:

services:fastgpt:environment:- OPENAI_BASE_URL=https://api.siliconflow.cn/v1  # 硅基流动API端点- CHAT_API_KEY=your_api_key_here  # 替换为实际API密钥

4. 启动容器

docker-compose up -d

5. 验证部署

访问http://localhost:3000​,若看到FastGPT界面,则部署成功。

访问 FastGPT

目前可以通过 ip:3000​ 直接访问(注意开放防火墙)。登录用户名为 root​,密码为docker-compose.yml​环境变量里设置的 DEFAULT_ROOT_PSW​。

如果需要域名访问,请自行安装并配置 Nginx。

首次运行,会自动初始化 root 用户,密码为 1234​(与环境变量中的DEFAULT_ROOT_PSW​一致),日志可能会提示一次MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;​可忽略。

image

四、硅基流动免费API配置

1. 注册与申请API密钥

  1. 访问硅基流动官网(cloud.siliconflow.cn),使用邀请码PnsFln9M​注册。

  2. 登录后进入“API密钥”页面,创建新密钥并复制。

image

image

2. 模型选择与配置

硅基流动支持的模型包括:

  • Qwen2-7B(免费)

  • DeepSeek-R1(需付费或试用)

在FastGPT中配置模型

image

示例为Qwen2.5-7B-Instruct

image

image

自定义请求地址:

https://api.siliconflow.cn/v1/chat/completions

自定义请求 Key:

输入你的秘钥

五、集成与测试

1. 创建知识库

  1. 在FastGPT控制台上传文档(PDF/TXT等)。

  2. 选择“知识库管理”→“新建知识库”,配置向量化模型(如M3E)。

image

然后进入数据库添加知识文件

image

image

image

六、常见问题与解决方案

问题描述解决方案
MongoDB版本不兼容修改docker-compose.yml​中的Mongo镜像版本为4.4.24。
API密钥无效检查密钥格式是否正确,确保未包含空格或特殊字符。
模型响应速度慢调整模型参数(如降低温度),或升级GPU资源。
端口冲突修改docker-compose.yml​中的端口映射(如8080:3000​)。

相关文章:

  • 【计算机网络】第五章 局域网技术
  • GPT,Genini, Claude Llama, DeepSeek,Qwen,Grok,选对LLM大模型真的可以事半功倍!
  • 形象理解华为云物联网iotDA开发流程
  • 批量导出多个文件和文件夹名称与路径信息到Excel表格的详细方法
  • AgentGPT开源程序可以在浏览器中组装、配置和部署自主人工智能代理
  • 高并发场景下的淘宝 API 开发实践:商品数据实时采集与性能优化
  • 修改IP地址能否精确到地级市的县?——全面解析
  • 基于ueditor编辑器的功能开发之重写ueditor的查找和替换功能,支持滚动定位
  • ts中的类型
  • CSS零基础入门笔记:狂神版
  • 前端实战-AJAX
  • ubuntu 22.04 安装和配置 mysql 8.0,设置开机启动
  • 力扣热题100——矩阵
  • Spring Boot 断点续传实战:大文件上传不再怕网络中断
  • 74.搜索二维矩阵
  • 学习海康VisionMaster之垂线查找
  • 电控---SWD协议
  • Python进程与线程的深度对比
  • 【仿Mudou库one thread per loop式并发服务器实现】HTTP协议模块实现
  • Java中如何创建操作线程
  • 商务部:服务业扩大开放试点任务多数来源于经营主体实际需要
  • “我们一直都是面向全世界做生意”,“世界超市”义乌一线走访见闻
  • 人民日报钟声:世界决不能重回弱肉强食的时代
  • 全国登记在册民营企业超过5700万户
  • 人民日报:对科研不端行为加大惩处力度,让造假成本远高于收益
  • 沃尔沃中国公开赛夺冠,这是吴阿顺与上海的十年之约