docker部署GPUStack【Nvidia版本】

以下是使用 Docker 部署 GPUStack 的步骤和注意事项

---

参考文章：https://docs.gpustack.ai/latest/installation/docker-installation/

1. 前置条件

• 安装 Docker：确保已安装 Docker 引擎（建议最新稳定版）。
• NVIDIA 环境支持（若使用 GPU）：
  • 安装 NVIDIA 驱动及 NVIDIA Container Toolkit，参考 的配置教程。
  • 确认命令 nvidia-smi 和 docker run --gpus all nvidia/cuda:12.0-base 可正常运行。

---

2. 部署方式

方法一：Docker Compose（推荐）

使用官方提供的 docker-compose.yaml 文件快速启动 ：

version: '3.8'
services:
  gpustack:
    image: gpustack/gpustack
    ports:
      - "80:80"       # 映射 Web UI 端口
    restart: always
    ipc: host         # 共享主机 IPC 命名空间（可能用于多进程通信）
    volumes:
      - gpustack_data:/var/lib/gpustack  # 持久化存储配置和模型数据
volumes:
  gpustack_data:

启动命令：

docker-compose up -d

方法二：直接 Docker Run

手动运行容器（需根据硬件类型调整参数）：

docker run -d \
  --name gpustack \
  --gpus all \          # 启用 GPU 支持（NVIDIA 环境）
  --ipc=host \          # 共享 IPC（部分模型需要）
  -p 80:80 \            # 映射端口
  -v gpustack_data:/var/lib/gpustack \  # 挂载数据卷
  gpustack/gpustack

---

3. 验证部署

• 访问 Web UI：浏览器打开 http://localhost，若成功进入 GPUStack 界面，说明部署完成。
• 查看日志：通过 docker logs gpustack 检查服务状态，若报错 No suitable workers，可能是硬件兼容性问题（如未正确配置 NPU/CUDA 环境）。

---

4. 常见问题

• 权限问题：确保 Docker 服务有权限访问 GPU 设备（通过 nvidia-container-toolkit 配置）。
• 离线环境：若需离线部署，可提前下载对应硬件的镜像（如 CUDA 12、CANN 等）。
• 模型部署失败：检查模型格式是否与推理后端匹配（如 GGUF 格式需 llama-box 支持）。

---

5. 进阶配置

• 多节点集群：通过 docker swarm 或 Kubernetes 扩展 GPUStack 节点 。
• 自定义镜像：若需特定依赖（如 NPU 支持），可基于官方镜像构建扩展 。

---