第13章:MCP服务端项目开发实战:向量检索
第13章:MCP服务端项目开发实战:向量检索
向量检索与相似度计算是现代 AI 系统(尤其是基于大语言模型的系统,如 RAG 和 MCP 框架中的 Memory 组件)的核心技术之一。它使得机器能够超越简单的关键词匹配,理解文本、图像或其他数据的语义含义,并根据语义相似性查找相关信息。本章将深入探讨向量嵌入技术、高效的向量检索算法、常用的相似度计算方法,以及向量数据库的选型与使用策略。
1. 向量嵌入技术 (Vector Embedding Techniques)
向量嵌入是将离散的、高维的原始数据(如文本、图像、音频)映射到低维、稠密的连续向量空间的过程。在这个向量空间中,语义相似的对象在空间中的距离也相近。
1.1 文本嵌入 (Text Embedding)
将单词、句子或段落转换为向量表示。
- 早期方法:
- One-Hot Encoding: 每个词表示为一个非常高维且稀疏的向量,只有一个位置是 1,其余是 0。无法捕捉词语间的相似性。
- TF-IDF (Term Frequency-Inverse Document Frequency): 基