LlamaIndex学习

什么是LlamaIndex

LlamaIndex（原名GPT Index，或曾被称为LangChain Index等类似名称的早期探索性版本）是一个用于构建和查询大规模语言模型（LLM）应用的开源框架和工具集，它专注于提升语言模型与外部数据源的交互能力，帮助开发者更高效地构建知识驱动的应用程序。
LlamaIndex的核心定位是“语言模型与外部数据的桥梁”，其目标是通过结构化、索引化和查询优化技术，让语言模型能够高效地访问、理解和利用外部知识库。具体功能包括：

1. 数据索引与结构化

   • 支持将非结构化数据（如文本、PDF、网页、数据库等）转化为语言模型可理解的索引格式。
   • 提供多种索引类型（如列表索引、树状索引、向量索引等），适应不同数据规模和查询需求。

2. 高效查询与检索

   • 基于索引结构，支持快速检索与语言模型查询需求最相关的数据片段。
   • 结合向量搜索、关键词匹配等技术，提升检索精度和效率。

3. 知识增强与推理

   • 通过将外部知识注入语言模型的上下文，增强模型对特定领域或任务的理解能力。
   • 支持多轮对话、上下文推理等复杂交互场景。

4. 模块化与可扩展性

   • 提供灵活的API和插件系统，方便开发者集成自定义数据源、索引算法或查询逻辑。
   • 支持与多种语言模型（如OpenAI GPT系列、Hugging Face模型等）无缝对接。

简单来说 LlamaIndex 是一个用于 LLM 应用程序的数据框架，用于注入，结构化，并访问私有或特定领域数据。

LlamaIndex解决的是大模型与数据之间的衔接问题，相当于架了一个桥梁。

LlamaIndex为何而生？

在本质上， LLM （如 GPT ）为人类和推断出的数据提供了基于自然语言的交互接口。广泛可用的大模型通常在大量公开可用的数据上进行的预训练，包括来自维基百科、邮件列表、书籍和源代码等。
构建在LLM模型之上的应用程序通常需要使用私有或特定领域数据来增强这些模型。不幸的是，这些数据可能分布在不同的应用程序和数据存储中。它们可能存在于API之后、SQL数据库中，或者存在PDF文件以及幻灯片中。因此LlamaIndex应运而生。

LlamaIndex如何破局？
LlamaIndex 提供了5大核心工具：

• Data connectors
• Data indexes
• Engines
• Data agents
• Application integrations

### 1. **Data Connectors（数据连接器）**
   - **功能**：负责从各种数据源摄取数据，并将其转换为统一的文档表示形式。
   - **支持的数据源**：包括本地文件（如 PDF、Markdown）、数据库（如 SQL）、API 返回的数据、云存储（如 Google 文档、Notion）等。
   - **作用**：通过数据连接器，LlamaIndex 能够接入和处理多样化的数据，为后续的索引和查询提供基础。

### 2. **Data Indexes（数据索引）**
   - **功能**：将摄取的数据组织成可查询的索引形式，支持多种索引类型。
   - **索引类型**：
     - **向量索引（Vector Store Index）**：基于向量相似度检索数据。
     - **列表索引（List Index）**：按顺序存储节点，支持关键字过滤。
     - **树形索引（Tree Index）**：构建层次化结构，支持从根节点到叶节点的查询。
     - **关键字表索引（Keyword Table Index）**：通过关键字映射快速检索节点。
   - **作用**：索引结构提升了数据检索的效率，使得语言模型能够快速定位相关信息。

### 3. **Engines（引擎）**
   - **功能**：提供对数据的自然语言访问接口，主要包括查询引擎和聊天引擎。
     - **查询引擎（Query Engines）**：用于问答场景，结合上下文和 LLM 生成答案。
     - **聊天引擎（Chat Engines）**：用于与数据进行多轮对话交互，支持自然流畅的人机对话。
   - **作用**：引擎是 LlamaIndex 的核心组件，决定了如何从知识库中高效地检索相关上下文信息，并传递给 LLM 以生成响应。

### 4. **Data Agents（数据代理）**
   - **功能**：由大语言模型（LLM）驱动的知识工作者，通过工具增强，能够执行各种任务。
   - **任务类型**：包括研究、数据提取、信息整合、自动化决策等。
   - **作用**：数据代理可以自主完成复杂任务，例如通过 RAG（检索增强生成）管道，从知识库中检索信息并生成回答。

### 5. **Application Integrations（应用集成）**
   - **功能**：支持将 LlamaIndex 重新整合到整个生态系统中，与其他工具和服务无缝对接。
   - **支持的集成**：
     - **向量数据库**：如 Pinecone、Chroma、Weaviate、Milvus 等。
     - **应用框架**：如 Streamlit、Chainlit。
     - **模型服务**：如 OpenAI API、Hugging Face Transformers、Azure OpenAI 等。
   - **作用**：应用集成使得 LlamaIndex 能够与现有的开发工具和平台协同工作，扩展其应用场景。

核心概念

LlamaIndex 帮助构建 LLM 驱动的，基于个人或私域数据的应用。RAG(Retrieval Augmented
Generation) 是 LlamaIndex 应用的核心概念。

LlamaIndex 的核心优势

• 高效的数据管理：通过索引和查询优化，提升语言模型处理外部数据的效率。
• 灵活的数据源支持：能够接入和处理多样化的数据源，适应不同场景的需求。
• 自然语言交互：提供查询引擎和聊天引擎，支持自然语言问答和多轮对话。
• 强大的扩展性：通过数据代理和应用集成，支持自定义任务和与其他工具的协同工作。

应用场景

• 企业知识库管理：快速构建文档索引，优化员工查询体验。
• 智能问答系统：结合 LLM 构建智能客服，提升客服效率。
• 法律文档分析：构建高效的检索系统，快速找到相关条款或法律解释。
• 学术文献检索：为研究人员提供文献检索和分析支持。

RAG

RAG，也称为检索增强生成，是利用个人或私域数据增强 LLM 的一种范式。通常，它包含两个阶段：

1. 索引
   构建知识库。
2. 查询
   从知识库检索相关上下文信息，以辅助 LLM 回答问题。
   LlamaIndex 提供了工具包帮助开发者极其便捷地完成这两个阶段的工作。

索引阶段

LlamaIndex 通过提供 Data connectors(数据连接器) 和 Indexes (索引) 帮助开发者构建知识库。
该阶段会用到如下工具或组件：

• Data connectors
  数据连接器。它负责将来自不同数据源的不同格式的数据注入，并转换为 LlamaIndex 支持的文
  档（Document）表现形式，其中包含了文本和元数据。

• Documents / Nodes
  Document是 LlamaIndex 中容器的概念，它可以包含任何数据源，包括，PDF文档，API响应，
  或来自数据库的数据。

Node是 LlamaIndex 中数据的最小单元，代表了一个 Document的分块。它还包含了元数据，以
及与其他Node的关系信息。这使得更精确的检索操作成为可能。

• Data Indexes
  LlamaIndex 提供便利的工具，帮助开发者为注入的数据建立索引，使得未来的检索简单而高效。
  最常用的索引是向量存储索引 - VectorStoreIndex 。
  

查询阶段

在查询阶段， RAG 管道根据的用户查询，检索最相关的上下文，并将其与查询一起，传递给 LLM ，以
合成响应。这使 LLM 能够获得不在其原始训练数据中的最新知识，同时也减少了虚构内容。该阶段的关键挑战在于检索、编排和基于知识库的推理。

LlamaIndex 提供可组合的模块，帮助开发者构建和集成 RAG 管道，用于问答、聊天机器人或作为代
理的一部分。这些构建块可以根据排名偏好进行定制，并组合起来，以结构化的方式基于多个知识库进行推理。
该阶段的构建块包括：

• Retrievers
  检索器。它定义如何高效地从知识库，基于查询，检索相关上下文信息。

• Node Postprocessors
  Node后处理器。它对一系列文档节点（Node）实施转换，过滤，或排名。

• Response Synthesizers
  响应合成器。它基于用户的查询，和一组检索到的文本块（形成上下文），利用 LLM 生成响应。

RAG管道包括：

• Query Engines

查询引擎 - 端到端的管道，允许用户基于知识库，以自然语言提问，并获得回答，以及相关的上下
文。

• Chat Engines
  聊天引擎 - 端到端的管道，允许用户基于知识库进行对话（多次交互，会话历史）。

• Agents
  代理。它是一种由 LLM 驱动的自动化决策器。代理可以像查询引擎或聊天引擎一样使用。主要区
  别在于，代理动态地决定最佳的动作序列，而不是遵循预定的逻辑。这为其提供了处理更复杂任务
  的额外灵活性。
  

个性化配置

LlamaIndex 对 RAG 过程提供了全面的配置支持，允许开发者对整个过程进行个性化设置。常见的配
置场景包括：

• 自定义文档分块
• 自定义向量存储
• 自定义检索
• 指定 LLM

注，个性化配置主要通过 LlamaIndex 提供的 ServiceContext 类实现。

配置场景示例

接下来通过简明示例代码段展示 LlamaIndex 对各种配置场景的支持。

自定义文档分块

from llama_index import ServiceContext
service_context = ServiceContext.from_defaults(chunk_size=500)

自定义向量存储

import chromadb
from llama_index.vector_stores import ChromaVectorStore
from llama_index import StorageContext
chroma_client = chromadb.PersistentClient()
chroma_collection = chroma_client.create_collection("quickstart")
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)

自定义检索

自定义检索中，我们可以通过参数指定查询引擎(Query Engine)在检索时请求的相似文档数。

index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(similarity_top_k=5)

指定 LLM

service_context = ServiceContext.from_defaults(llm=OpenAI())