当前位置: 首页 > news >正文

Spring AI 开发 - 快速入门

先看效果

项目搭建

Spring AI 是 Spring 推出的一个项目,目标是提供统一的API抽象层,屏蔽不同AI模型和服务的底层差异,实现跨平台兼容性。

演示使用的模型是阿里的 qwq-32b。

环境要求:

JDK :17以上(包括17)

Spring Boot 版本:目前支持 3.4.X,3.5.X 发布后也会同步支持。

主要的 maven 依赖

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-openai-spring-boot-starter</artifactId><version>1.0.0-M6</version>
</dependency>

配置文件:

qwq-32b的接口类似于openai ,所以直接使用 openai 的配置即可,其他类 openai 的模型也是类似。

spring:ai:openai:api-key: #申请的 keybase-url: https://dashscope.aliyuncs.com/compatible-mode #api地址chat:options:model: qwq-32b # 模型名称

编写接口

创建 ChatClient。ChatClient 提供了与 AI 模型通信的 Fluent API,它支持同步和反应式(Reactive)编程模型。

this.chatClient = ChatClient.builder(chatModel).defaultSystem(DEFAULT_PROMPT).defaultAdvisors(new MessageChatMemoryAdvisor(new InMemoryChatMemory())).defaultAdvisors(new SimpleLoggerAdvisor()).defaultOptions(OpenAiChatOptions.builder().temperature(0.7d).build()).build();

创建接口,使用 SSE 响应结果,SSE 是一个单向的、从服务端向客户端推送数据的技术。使用SSE可以实时的将大模型的结果推送到前端。

@GetMapping
public SseEmitter chat(String message) {SseEmitter emitter = new SseEmitter();// 先把结果返回,后续逐渐响应结果CompletableFuture.runAsync(() -> {chatClient.prompt(message).stream().content().doOnComplete(emitter::complete).subscribe(result -> {try {emitter.send(result);} catch (IOException e) {throw new RuntimeException(e);}});});return emitter;
}

完整的接口代码如下:

package cn.salim.ai.controller;import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.MessageChatMemoryAdvisor;
import org.springframework.ai.chat.client.advisor.SimpleLoggerAdvisor;
import org.springframework.ai.chat.memory.InMemoryChatMemory;
import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.ai.openai.OpenAiChatOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;import java.io.IOException;
import java.util.concurrent.CompletableFuture;@RestController
@RequestMapping("ai")
public class AiController {private static final String DEFAULT_PROMPT = "你是一个资深Java程序员,你熟悉各种JAVA框架,包括SpringBoot、Mybatis等等";private final ChatClient chatClient;public AiController(OpenAiChatModel chatModel) {this.chatClient = ChatClient.builder(chatModel).defaultSystem(DEFAULT_PROMPT).defaultAdvisors(new MessageChatMemoryAdvisor(new InMemoryChatMemory())).defaultAdvisors(new SimpleLoggerAdvisor()).defaultOptions(OpenAiChatOptions.builder().temperature(0.7d).build()).build();}@GetMappingpublic SseEmitter chat(String message) {SseEmitter emitter = new SseEmitter();CompletableFuture.runAsync(() -> {chatClient.prompt(message).stream().content().doOnComplete(emitter::complete).subscribe(result -> {try {emitter.send(result);} catch (IOException e) {throw new RuntimeException(e);}});});return emitter;}}

相关文章:

  • music21:伍佰 泪桥 MIDI 音乐分析
  • 计算机网络——常见的网络攻击手段
  • 【JDBC-54.5】JDBC批处理插入数据:大幅提升数据库操作性能
  • linux socket编程之udp(实现客户端和服务端消息的发送和接收)
  • Android 下拉栏中的禁用摄像头和麦克风隐藏
  • JavaWeb 课堂笔记 —— 14 Mybatis
  • 中国AIOps行业分析
  • Qt项目——Tcp网络调试助手服务端与客户端
  • python基础知识点(2)
  • Spring Boot常用注解全解析:从入门到实战
  • 17.RSS体系建设打造信息百川入海
  • accelerate并行计算:训练环境和训练参数的配置字典
  • 面试题--随机(一)
  • 【操作系统原理03】处理机调度与死锁
  • 剑指Offer(数据结构与算法面试题精讲)C++版——day15
  • 【LeetCode 热题 100】双指针 系列
  • 基于有效样本数的类别平衡损失 (Class-Balanced Loss, CVPR 2019)
  • 量化交易 - RSRS(阻力支撑相对强度)策略研究 - 源码
  • 递归实现归并排序
  • RenderStage::runCameraSetUp
  • 北京公园使用指南
  • 朝鲜证实出兵俄罗斯协助收复库尔斯克
  • 中国海警局新闻发言人就菲律宾非法登临铁线礁发表谈话
  • 第二部以“法典”命名的法律!生态环境法典编纂迈出“关键步”
  • 伊朗外长: 美伊谈判进展良好,讨论了很多技术细节
  • 讲座|现代女性在面对生育、事业与家庭之间的复杂抉择