当前位置： 首页 > news >正文

《AI大模型应知应会100篇》 第36篇：RAG技术入门：检索增强生成原理及实现

news 来源：原创 2025/4/25 10:56:38

第36篇：RAG技术入门：检索增强生成原理及实现

摘要

在当今大模型（LLM）应用的浪潮中，知识时效性和幻觉问题一直是困扰开发者的核心痛点。为了解决这些问题，**检索增强生成（Retrieval-Augmented Generation, RAG）**技术应运而生。RAG通过结合外部知识库和大模型的强大生成能力，不仅能够提升回答的准确性，还能有效解决知识更新滞后的问题。

本文将从基础概念到实战案例，系统性地介绍RAG技术的工作原理、核心组件以及实现方法，并通过具体代码和案例帮助读者掌握如何构建自己的RAG系统。

在这里插入图片描述

核心概念与知识点

1. RAG技术基础

RAG架构与工作流程

RAG的核心思想是将“检索”和“生成”两个阶段结合起来。其基本工作流程如下：

  1. 检索阶段：用户输入问题后，系统根据问题内容从外部知识库中检索出相关文档或片段。
  2. 生成阶段：将检索到的内容作为上下文，与用户问题一起输入大模型，生成最终的回答。
大模型知识局限性的解决之道

大模型虽然具备强大的生成能力，但其训练数据通常截止于某个时间点（例如GPT-4的数据截止时间为2021年9月）。这意味着它无法获取最新的信息，也无法处理特定领域的私有知识。RAG通过引入外部知识库，弥补了这一缺陷。

检索与生成的协同机制

RAG的关键在于“检索”和“生成”的无缝衔接。检索模块负责从知识库中提取相关信息，而生成模块则利用这些信息生成高质量的回答。这种协同机制使得RAG既能保持大模型的灵活性，又能确保回答的准确性和时效性。

RAG与微调方法的对比优势

相比于直接对大模型进行微调，RAG的优势在于：

  • 成本更低：无需重新训练大模型。
  • 灵活性更高：可以随时更新外部知识库，而无需重新调整模型。
  • 可解释性强：检索到的内容可以直接追溯，便于验证答案来源。

2. 核心组件构建

文档处理与块化策略

为了高效检索，原始文档需要被拆分为较小的“块”（chunks）。常见的块化策略包括：

  • 固定长度分块：每个块包含固定数量的单词或字符。
  • 语义分块：基于句子或段落的语义完整性进行划分。
from langchain.text_splitter import RecursiveCharacterTextSplitter# 文档分块示例
text = "这是第一个段落。这是第二个段落。这是第三个段落。"
splitter = RecursiveCharacterTextSplitter(chunk_size=10, chunk_overlap=2)
chunks = splitter.split_text(text)
print(chunks)

输出：

['这是第一个段落。', '这是第二个段落。', '这是第三个段落。']
向量化与嵌入模型选择

检索的核心在于计算文本之间的相似度，因此需要将文本转化为向量表示。常用的嵌入模型包括：

  • OpenAI Embeddings：适合通用场景。
  • Sentence Transformers：支持本地部署，适合隐私敏感场景。
from sentence_transformers import SentenceTransformer# 加载嵌入模型
model = SentenceTransformer('all-MiniLM-L6-v2')# 文本向量化
texts = ["这是一个测试句子。", "这是另一个句子。"]
embeddings = model.encode(texts)
print(embeddings.shape)  # 输出向量形状

输出：

(2, 384)
向量数据库对比与选型

向量数据库用于存储和快速检索文本向量。常见选择包括：

  • Pinecone：云端托管，高性能。
  • FAISS：本地部署，开源免费。
  • Weaviate：支持混合搜索。
相似度检索算法与优化

常见的相似度计算方法包括余弦相似度和欧氏距离。优化方向包括：

  • 索引结构：使用HNSW等高效索引加速检索。
  • 缓存机制：减少重复查询的计算开销。

3. RAG系统实现路径

基础RAG实现步骤与代码框架

以下是一个简单的RAG实现流程：

  1. 加载文档并分块。
  2. 生成向量并存储到向量数据库。
  3. 接收用户问题，检索相关文档。
  4. 将检索结果与问题一起输入大模型生成答案。
from langchain.chains import RetrievalQA
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.llms import OpenAI# 加载嵌入模型
embeddings = OpenAIEmbeddings()# 构建向量数据库
vectorstore = FAISS.from_texts(["文档1内容", "文档2内容"], embeddings)# 构建RAG链
qa_chain = RetrievalQA.from_chain_type(llm=OpenAI(),chain_type="stuff",retriever=vectorstore.as_retriever()
)# 用户提问
question = "你的问题是什么？"
answer = qa_chain.run(question)
print(answer)
LlamaIndex与LangChain的RAG工具链

LlamaIndex 和 LangChain 是两个流行的RAG工具链，提供了丰富的API和插件支持。

混合检索策略的设计与实现

混合检索结合了关键词匹配和语义检索，能够在不同场景下平衡效率和效果。

RAG提示模板优化技巧

提示模板的设计对生成质量至关重要。例如，可以通过明确指令（如“请根据以下文档回答问题”）来引导模型行为。

4. RAG高级技术与优化

检索结果的重排与筛选

通过二次排序（Re-ranking）进一步提升检索结果的相关性。

多查询扩展与检索增强

针对复杂问题，生成多个子查询以提高召回率。

递归检索与多步骤RAG

对于长链条推理任务，可以设计递归检索机制。

结果评估与反馈优化循环

通过用户反馈不断优化检索和生成模块。

案例与实例

在本文中，我们将通过一个具体的案例，展示如何使用Qwen2.5大模型与LlamaIndex整合，加载PDF文档并构建一个智能客服问答系统。这个系统可以用于企业内部知识库的智能检索和生成，解决用户提出的问题。

基于Qwen2.5和LlamaIndex的RAG智能客服问答系统

背景

假设你是一家科技公司的技术支持工程师，公司有大量的技术文档存储为PDF格式。为了提高客户支持效率，你希望构建一个智能客服系统，能够根据用户提问从这些PDF文档中检索相关信息，并生成准确的回答。

我们将使用以下工具和技术：

  • Qwen2.5：作为生成模型，负责生成最终答案。
  • LlamaIndex：用于文档处理、向量化和检索。
  • PyPDF2：用于解析PDF文件内容。
  • FAISS：作为本地向量数据库，存储文档向量。

实现步骤

1. 安装依赖库

首先，确保安装了必要的依赖库：

pip install llama-index qwen py-pdf2 faiss-cpu sentence-transformers
2. 加载PDF文档并分块

我们需要将PDF文档的内容提取出来，并将其分割成适合检索的小块。

from PyPDF2 import PdfReader
from llama_index import SimpleDirectoryReader, Document
from llama_index.text_splitter import SentenceSplitter# 读取PDF文件内容
def load_pdf(file_path):reader = PdfReader(file_path)text = ""for page in reader.pages:text += page.extract_text()return text# 将PDF内容转换为LlamaIndex的Document对象
pdf_text = load_pdf("technical_manual.pdf")
documents = [Document(text=pdf_text)]# 使用SentenceSplitter进行分块
splitter = SentenceSplitter(chunk_size=200, chunk_overlap=20)
chunks = splitter.split_documents(documents)print(f"共生成 {len(chunks)} 个文本块。")
3. 向量化并存储到FAISS

接下来，我们使用Sentence Transformers模型将文本块转化为向量，并存储到FAISS向量数据库中。

from llama_index.embeddings import HuggingFaceEmbedding
from llama_index.vector_stores import FaissVectorStore
from llama_index import VectorStoreIndex# 加载嵌入模型
embed_model = HuggingFaceEmbedding(model_name="sentence-transformers/all-MiniLM-L6-v2")# 构建FAISS向量数据库
vector_store = FaissVectorStore.from_embeddings_and_texts(texts=[chunk.text for chunk in chunks],embeddings=embed_model.get_text_embedding_batch([chunk.text for chunk in chunks])
)# 创建索引
index = VectorStoreIndex.from_vector_store(vector_store=vector_store, embed_model=embed_model)
4. 集成Qwen2.5大模型

我们将Qwen2.5集成到LlamaIndex的查询链中，用于生成最终答案。

from llama_index.llms import Qwen
from llama_index.query_engine import RetrieverQueryEngine# 初始化Qwen2.5模型
llm = Qwen(api_key="YOUR_QWEN_API_KEY", model="qwen2.5")# 创建查询引擎
query_engine = RetrieverQueryEngine.from_args(retriever=index.as_retriever(similarity_top_k=3),llm=llm
)
5. 测试智能客服问答

现在，我们可以测试系统的问答能力。输入一个问题，系统会从PDF文档中检索相关信息，并生成回答。

# 用户提问
question = "如何解决设备无法启动的问题？"# 获取回答
response = query_engine.query(question)# 输出结果
print("检索到的相关文档片段：")
for node in response.source_nodes:print(f"- {node.text[:100]}...")  # 打印前100个字符print("\n生成的答案：")
print(response.response)

示例输出：

检索到的相关文档片段：
- 设备无法启动的原因可能包括电源连接问题、硬件故障或软件配置错误...
- 如果设备无法启动，请检查电源线是否插好，并尝试重启设备...生成的答案：
设备无法启动可能是由于电源连接问题或硬件故障引起的。建议您先检查电源线是否插好，并确保设备通电。如果问题仍然存在，请联系技术支持团队进一步排查。

代码说明与疑难点解析

  1. PDF内容提取：

    • PyPDF2 是一个简单易用的PDF解析库，但需要注意的是，某些PDF文件可能包含扫描图像或加密内容，需要额外处理。

  2. 文本分块策略：

    • 分块大小（chunk_size）和重叠长度（chunk_overlap）是影响检索效果的重要参数。过小的块可能导致信息不完整，而过大的块会降低检索效率。

  3. 向量化模型选择：

    • Sentence Transformers 提供了多种预训练模型，可以根据具体任务选择合适的模型。例如，对于长文本检索，可以选择all-mpnet-base-v2。

  4. Qwen2.5集成：

    • Qwen2.5是一个强大的生成模型，但在实际应用中需要合理设计提示模板，以引导模型生成高质量的回答。

案例小结

通过上述案例，我们展示了如何利用Qwen2.5和LlamaIndex构建一个基于RAG技术的智能客服问答系统。该系统能够高效地从PDF文档中检索相关信息，并生成准确、自然的回答，显著提升了客户支持的效率和质量。

其它案例

1. JPMorgan使用RAG构建金融合规助手的案例

JPMorgan利用RAG技术构建了一个金融合规助手，能够实时检索最新的法规和政策文件，并为员工提供准确的合规建议。

2. Anthropic的Claude文档分析产品中的RAG应用

Anthropic在其文档分析产品中引入了RAG技术，显著提升了对企业内部文档的理解能力。

3. Pinecone与OpenAI构建企业知识库的完整实现

以下是一个完整的代码示例，展示如何使用Pinecone和OpenAI构建企业知识库：

import pinecone
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Pinecone# 初始化Pinecone
pinecone.init(api_key="YOUR_PINECONE_API_KEY", environment="us-west1-gcp")
index_name = "my-index"# 加载嵌入模型
embeddings = OpenAIEmbeddings()# 构建向量数据库
vectorstore = Pinecone.from_existing_index(index_name, embeddings)# 检索并生成回答
query = "你的问题是什么？"
docs = vectorstore.similarity_search(query)
print(docs)

总结与扩展思考

1. RAG技术对知识密集型应用的变革意义

RAG技术为知识密集型行业（如法律、医疗、金融）带来了革命性的变化，使得企业能够更高效地利用私有知识。

2. 私有知识与公共能力的平衡策略

在构建RAG系统时，应注重保护私有数据的安全性，同时充分利用公共模型的能力。

3. RAG系统的演进方向与下一代架构

未来，RAG系统可能会进一步融合多模态数据（如图像、视频），并采用更高效的检索算法和生成模型。

通过本文的学习，相信你已经掌握了RAG技术的基本原理和实现方法。如果你有任何疑问或想法，欢迎在评论区留言交流！

相关文章：

  • 施磊老师基于muduo网络库的集群聊天服务器(六)
  • mybatis log convert使用
  • Java 高频面试题解析
  • 【android bluetooth 协议分析 06】【l2cap详解 9】【L2cap通道生命周期】
  • 【MobaXterm】---修改 MobaXterm 终端 默认字体和大小 保真
  • QSPI flash xip模式运行
  • 四、Python编程基础04
  • 《宝可梦明耀之星》正式登陆中国大陆！4月15日起陆续上市！
  • 母婴店商城小程序制作哪家强？告别传统经营，拥抱线上新机遇
  • TypeScript 开发实战：如何安全替换字符串中的关键字
  • 阿里云99机器总是宕机，实测还是磁盘性能差
  • 多路转接epoll原理详解
  • 应用信息1.13.0发布
  • verilog和system verilog常用数据类型以及常量汇总
  • SVN钩子脚本获取日志中文乱码解决办法
  • Android 混合开发实战：统一 View 与 Compose 的浅色/深色主题方案
  • 嵌入模型（Embedding Models）原理详解：从Word2Vec到BERT的技术演进
  • MyBatis操作数据库---从入门到理解
  • 硬件工程师面试常见问题（7）
  • LeetCode-Hot100
  • 好未来：2025财年收入增长51%，下个财年提高整体盈利能力是首要任务
  • 从篆刻书画到装帧设计，再看钱君匋的“艺兼众美”
  • 瑞士外长答澎湃：瑞中都愿升级自贸协定，关税战没有任何好处
  • 技术派｜“会飞的手榴弹”：微型无人机将深刻改变单兵作战方式
  • 上海未来亚洲研究会第六届会员大会举行，叶青当选会长
  • 外交部否认中美就关税问题进行磋商谈判