当前位置: 首页 > news >正文

基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API

前言

Spring AI Alibaba 开源项目基于 Spring AI 构建,是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践,提供高层次的 AI API 抽象与云原生基础设施集成方案,帮助开发者快速构建 AI 应用。

  1. 项目地址

gitcode平台:https://gitcode.com/Var_ya/springAI_ollama_chatInterfaceApi

  1. 核心技术官网地址

Spring AI Alibaba 官网地址:https://java2ai.com/

**knife4j官网地址: **https://doc.xiaominfo.com/

ollama官网地址:https://ollama.com/

一、技术选型说明

1. 核心组件

  • Spring Boot 3.4.5:后端服务基础框架
  • spring-ai-ollama-spring-boot-starte:alibaba官方AI集成框架(1.0.0-M6版本)
  • knife4j 4.5.0:可视化展示后端接口页面
  • Ollama:本地大模型运行环境(支持Llama2、Mistral等模型)

2. 环境要求

  • JDK 17+
  • 8GB+ 内存(运行大模型需要)
  • ollama version is 0.5.13

二、环境准备

1. 安装Ollama

  1. Ollama官网安装

官网地址:https://ollama.com/

官网下载window版本地址:https://ollama.com/download

  1. 百度网盘下载安装

百度网盘地址:https://pan.baidu.com/s/1mx_3R4NVjOSC9D8BaGdYHg?pwd=9eg7

  1. 运行OllamaSetup安装包
  • 双击OllamaSetup.exe
  • 安装包点击:Install

  • 安装成功
    (截图示例:终端执行ollama --version

2. 下载模型

本教程使用的模型:deepseek-r1:8b

模型运行下载命令:ollama run deepseek-r1:8b

ollama run deepseek-r1:8b

2. 模型运行效果


三、创建Spring Boot项目

注意 :类型修改为:Maven

1. 项目初始化

使用start.spring.io创建项目:

  • 添加依赖:
    • Spring Web
    • spring-ai-ollama-spring-boot-starter
    • knife4j-openapi3-jakarta-spring-boot-starter

2. 配置核心POM.xml

<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency>
<!--		阿里巴巴ollama--><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId><version>1.0.0-M6</version></dependency><!-- Swagger3-knife4j依赖 --><dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-openapi3-jakarta-spring-boot-starter</artifactId><version>4.5.0</version></dependency></dependencies>

四、配置Ollama连接

application.yml

server:port: 9999
spring:ai:ollama:base-url: http://localhost:11434 # 哦llama地址chat:model: deepseek-r1:7b # 模型options:temperature: 0.8 # 温度越高,回答越有创意top-p: 0.9 # 数值越高,回答越多样top-k: 100 # 数值越高,回答越多样# knife4j的增强配置,不需要增强可以不配
knife4j:enable: true    # 开启knife4j,无需添加@EnableKnife4j注解setting:language: zh_cn   #中文#  swagger-model-name: 实体列表   #默认为: Swagger Modelsbasic: # 开启Swagger的Basic认证功能,默认是falseenable: falseusername: varyapassword: varya

五、编写AI对话接口

1. 创建Controller


package cn.varin.springai_ollama_chatinterfaceapi.controller;import io.swagger.v3.oas.annotations.Operation;
import io.swagger.v3.oas.annotations.tags.Tag;
import jakarta.servlet.http.HttpServletResponse;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
import reactor.core.publisher.Flux;import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.SimpleLoggerAdvisor;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;import java.io.IOException;
import java.util.stream.Stream;@RestController
@Tag(name="客户端实例")@RequestMapping("/client")
public class OllamaChatClientController {private static final String DEFAULT_PROMPT = "你好,介绍下你自己!请用中文回答。";private final ChatClient ollamaiChatClient;public OllamaChatClientController(ChatModel chatModel) {// 构造时,可以设置 ChatClient 的参数this.ollamaiChatClient = ChatClient.builder(chatModel)// 实现 Logger 的 Advisor.defaultAdvisors(new SimpleLoggerAdvisor())// 设置 ChatClient 中 ChatModel 的 Options 参数.defaultOptions(OllamaOptions.builder().topP(0.7).model("deepseek-r1:1.5b").build()).build();}/*** ChatClient 简单调用*/@Operation(summary = "无参数调用")@GetMapping("/simple/chat")public String simpleChat() {return ollamaiChatClient.prompt(DEFAULT_PROMPT).call().content();}/*** ChatClient 流式调用*/@Operation(summary = "流式调用")@GetMapping("/stream/chat")public Flux<String> streamChat1(@RequestParam String message) {return ollamaiChatClient.prompt(message).stream().content();}@GetMapping("/stream")public SseEmitter streamChat2(@RequestParam String message) {SseEmitter emitter = new SseEmitter();Flux<String> content = ollamaiChatClient.prompt(message).stream().content();try {emitter.send(content);System.out.println(emitter.toString());} catch (IOException e) {throw new RuntimeException(e);}return emitter;}}

2. 支持流式响应(可选)

	/*** ChatClient 流式调用*/@Operation(summary = "流式调用")@GetMapping("/stream/chat")public Flux<String> streamChat1(@RequestParam String message) {return ollamaiChatClient.prompt(message).stream().content();}

六、knife4j测试接口

访问Url:http://localhost:9999/doc.html

1. 无参数接口测试

接口:/client/simple/chat

2. 流式调用接口测试

接口:/client/stream/chat


七、扩展功能建议

  1. 多模型切换:通过@RequestParam动态选择模型
  2. 对话历史管理:使用Redis存储上下文
  3. 速率限制:添加Bucket4j限流
  4. API鉴权:集成Spring Security

八、常见问题排查

问题现象解决方案
连接Ollama超时确认ollama serve正在运行
模型加载失败检查ollama list确认模型存在
内存不足尝试更小参数的模型版本

九、项目效果展示


十、总结

本文演示了如何通过:

  1. 本地部署Ollama服务
  2. Spring AI集成LLM能力
  3. 构建RESTful API接口

优势:数据隐私性强、无需API密钥、支持离线环境

完整代码示例:https://gitcode.com/Var_ya/springAI_ollama_chatInterfaceApi

相关文章:

  • node入门和npm
  • 当自动驾驶遇上“安全驾校”:NVIDIA如何用技术给无人驾驶赋能?
  • java智慧城管综合管理系统源码,前端框架:vue+element;后端框架:springboot;移动端:uniapp开发,技术前沿,可扩展性强
  • 图像处理——边缘检测
  • RASP技术在DevOps中的安全应用
  • 冯·诺依曼和哈佛架构​​​​两种架构的总线组成及核心特点
  • Flink反压问题解析
  • 1--Python基础课程实验指导书
  • linux blueZ 第四篇:BLE GATT 编程与自动化——Python 与 C/C++ 实战
  • CSS3布局方式介绍
  • 性能提升手段--池化技术
  • PySpark实现ABC_manage_channel逻辑
  • 精益数据分析(25/126):关键指标驱动业务发展
  • WPF实现数字孪生示例
  • 使用PyTorch实现简单图像识别(基于MNIST手写数字数据集)的完整代码示例,包含数据加载、模型定义、训练和预测全流程
  • 关于使用 读光-文字检测-DBNet行检测模型-中英-通用领域,版本问题
  • 《P1950 长方形》
  • 前端与Rust后端交互:跨越语言鸿沟 (入门系列三)
  • 开源AI视频FramePack发布:6GB显卡本地运行
  • LIDC-IDRI数据集切割代码教程【pylidc库】
  • 哈马斯同意释放剩余所有以方被扣押人员,以换取停火五年
  • 地下管道密布成难题,道路修整如何破局?
  • 万能险新规落地:保险期限不得低于五年,明确万能险销售“负面清单”
  • 欢迎回家!日本和歌山县4只大熊猫将于6月底送返中国
  • 朱守科任西藏自治区政府副主席、公安厅厅长
  • 湖南省郴州市统战部部长黄峥嵘主动交代问题,接受审查调查