【AI】SpringAI 第四弹:接入本地大模型 Ollama
Ollama 是一个开源的大型语言模型服务工具。它的主要作用是帮助用户快速在本地运行大模型, 简化了在 Docker 容器内部署和管理大语言模型(LLM)的过程。
1. 确保Ollama 已经启动
# 查看帮助文档
ollama -h# 自动下载并启动
ollama run deepseek-r1:1.5b
2. 项目添加依赖
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>
3. 配置 yml 配置文件
spring:ai:ollama:base-url: http://127.0.0.1:11434 # 默认端口号chat:options:model: deepseek-r1:1.5b
4. 编写代码
@RestController
@RequestMapping("/ol")
public class OllamaController {@Resourceprivate OllamaChatModel chatModel;@RequestMapping("/chat")public String chat(String prompt) {String call = chatModel.call(prompt);System.out.println(call);return call;}
}