DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

以下是一个使用 DeepSeek 大模型（假设为一个高性能的中文大模型）、LlamaIndex、MySQL 数据库 和 知识文档 实现简单 RAG（检索增强生成）系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程，并附带详细代码和注释。

---

1. 环境准备

1.1 安装依赖

首先，确保安装了必要的 Python 库：

pip install llama-index deepseek-cpm mysql-connector-python

1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库，包含一个 documents 表，结构如下：

CREATE TABLE documents (id INT AUTO_INCREMENT PRIMARY KEY,content TEXT
);

插入一些示例数据：

INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入，预算为2亿元。');

1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt，内容如下：

公司成立于2010年，专注于技术研发。
去年的研发投入为5亿元。

---

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据

import mysql.connectordef load_data_from_mysql():# 连接 MySQL 数据库conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()# 查询 documents 表中的所有记录cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()# 将查询结果转换为文本列表documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)

2.2 从知识文档加载数据

def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)

2.3 合并数据并构建索引

from llama_index import SimpleDirectoryReader, GPTListIndex, Documentdef build_index(documents):# 将文档列表转换为 Document 对象docs = [Document(text) for text in documents]# 构建索引index = GPTListIndex.from_documents(docs)return index# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)# 构建索引
index = build_index(all_documents)

---

3. RAG 流程实现

3.1 定义查询函数

def query_index(index, query_text):response = index.query(query_text)return response.response# 测试查询
query = "去年公司的研发投入是多少？"
response = query_index(index, query)
print("Query Response:", response)

3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口：

import deepseek_cpmdef generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

---

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例：

import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 2. 从知识文档加载数据
def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 3. 合并数据并构建索引
def build_index(documents):docs = [Document(text) for text in documents]index = GPTListIndex.from_documents(docs)return index# 4. 定义查询函数
def query_index(index, query_text):response = index.query(query_text)return response.response# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 主程序
if __name__ == "__main__":# 加载数据mysql_documents = load_data_from_mysql()file_documents = load_data_from_file('knowledge.txt')all_documents = mysql_documents + file_documents# 构建索引index = build_index(all_documents)# 测试查询query = "去年公司的研发投入是多少？"context = query_index(index, query)final_response = generate_response_with_model(query, context)print("Final Response with Model:", final_response)

---

5. 表格整理总结

步骤	操作内容	注意事项
1. 环境准备	安装必要库，准备 MySQL 数据库和知识文档。	确保数据库连接信息正确，文档路径有效。
2. 数据加载	从 MySQL 和知识文档中加载数据。	数据格式应统一，避免编码问题。
3. 索引构建	将加载的数据合并并构建 LlamaIndex 索引。	索引构建可能耗时，根据数据量选择合适索引类型。
4. RAG 查询	使用 LlamaIndex 进行检索，获取相关上下文。	查询语句应简洁明了，便于模型理解。
5. 模型生成	结合检索结果和原始查询，使用 DeepSeek 大模型生成最终回答。	提供足够上下文信息，避免模型“幻觉”现象。
6. 结果展示	将最终回答返回给用户。	格式化输出，提升用户体验。

---

6. 总结

通过上述步骤，我们实现了一个简单的 RAG 系统，该系统结合了 DeepSeek 大模型、LlamaIndex、MySQL 数据库 和 知识文档，能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点，适用于多种实际应用场景（如企业知识库、客服系统等）。

如果需要进一步优化或扩展功能（如多轮对话、错误处理等），可以根据具体需求进行调整。