当前位置: 首页 > news >正文

AI知识架构之RAG

定义与概念

  1. RAG 简介:RAG 是一种创新性的 AI 框架,它巧妙地融合了检索与生成技术。通过搭建大型语言模型(LLM)与外部知识库之间的桥梁,极大地提升了生成内容的精准度和相关性。其核心运作机制在于,把用户输入的信息与从外部知识库检索到的相关文档进行有机结合,随后将这一组合信息输入到生成模型中,进而产出更为可靠、紧跟最新信息的输出内容。
  2. 起源与背景
    • 提出团队与时间:2020 年,Facebook AI Research(FAIR)团队率先提出了 RAG 技术,为解决大语言模型在实际应用中的难题开辟了新路径。
    • 解决 “幻觉” 问题初衷:大语言模型尽管在生成流畅文本方面展现出卓越能力,但在知识密集型任务中,容易出现 “幻觉” 现象,即生成与客观事实不符的内容。RAG 技术的诞生,正是为了有效应对这一棘手问题。
    • 提出背景深入分析
      • 大语言模型的局限性:LLM 在生成文本时,依赖的是训练数据中的知识,这导致其存在知识截止日期问题,且训练数据可能陈旧,难以保证生成内容的准确性。
      • 知识密集型任务的需求:在问答系统、智能助手等应用场景中,用户对生成内容的准确性和时效性有着较高要求,传统 LLM 难以满足这些需求。
  3. 技术定位与价值
    • 提升生成内容准确性:通过引入外部最新知识,RAG 能够有效纠正 LLM 可能产生的错误信息,使生成内容更贴合实际情况。
    • 增强语言模型泛化能力:借助外部知识库丰富多样的信息,RAG 帮助 LLM 更好地应对各种不同类型的任务和输入,提升其泛化性能。
  4. RAG 的优势
    • 解决 LLM 的局限性:RAG 通过接入外部知识,成功解决了 LLM 面临的知识更新不及时、模型易产生幻觉以及私有数据不足等问题。例如,在处理实时性较强的信息时,RAG 可从最新数据源获取信息,避免 LLM 因知识局限而生成错误内容。
    • 增强可解释性:RAG 将生成内容与检索到的原始资料建立清晰链接,使得生成内容的依据一目了然,大大增强了内容的可追溯性和可解释性,提升用户对生成结果的信任度。
    • 提升效率:RAG 通过高效检索和整合长文本信息,突破了 LLM 上下文窗口的限制。在处理长篇文档或复杂问题时,能够快速定位关键信息并融入生成过程,提高生成效率和质量。
  5. 技术演进
    • Naive RAG(基础 RAG)
      • 核心思想:主要依靠关键词匹配技术,如 TF - IDF 或 BM25 算法,从静态数据集中检索相关文档,并将这些文档作为上下文输入到生成模型中。
      • 优点:实现方式简单直接,对于一些对准确性要求不是极高、需要快速部署的场景较为适用,能够快速搭建起基本的检索增强生成系统。
      • 缺点:由于单纯基于关键词匹配,缺乏对语义的深入理解,导致生成的回答可能存在碎片化问题,或者无法精准匹配用户需求,回答的准确性和完整性欠佳。
    • Advanced RAG(高级 RAG)
      • 核心思想:引入语义增强的检索技术,如密集向量搜索(Dense Passage Retrieval, DPR)和神经排序算法,以提升检索的准确性和语义理解能力。
      • 关键特性
        • 密集向量搜索:将查询和文档转化为高维向量空间中的向量表示,通过计算向量之间的相似度来衡量语义匹配程度,大大提高了语义对齐的准确性,能够更精准地找到与查询语义相关的文档。
        • 上下文重排:利用神经模型对检索结果进行重新排序,根据文档与查询的相关性程度,确保最相关的信息在生成过程中被优先考虑,从而提升生成内容的质量。
        • 多跳检索:支持在多个文档之间进行推理,能够处理更为复杂的查询,通过在多个文档中跳跃式检索和关联信息,为复杂问题提供更全面、准确的答案。
      • 适用场景:在对生成内容精度要求较高的应用场景中表现出色,如个性化推荐系统,能够根据用户的语义需求精准推荐相关内容;学术问答领域,可为学生和研究人员提供准确的学术知识解答。
    • Modular RAG(模块化 RAG)
      • 核心思想:将检索和生成管道细分为多个独立的模块,这种模块化设计允许根据不同需求进行灵活配置和优化。
      • 创新点
        • 混合检索策略:结合稀疏检索(如传统的关键词匹配)和密集检索(如基于向量的语义检索)方法,根据查询类型的不同,灵活选择最合适的检索方式,以提高检索效率和准确性。
        • 工具集成:支持与外部 API、数据库等多种工具进行集成,拓展了数据来源和处理能力。例如,可以连接专业领域的数据库,获取更专业、详尽的信息用于生成。
        • 可组合管道:各个组件(如检索器、生成器等)可以独立替换或增强,方便根据具体任务需求进行定制化开发,满足不同场景下的多样化需求。
      • 适用场景:适用于复杂多领域的任务,如金融分析,需要结合多种数据源和工具进行综合分析;法律研究,要从不同法律数据库和法规文档中检索并生成准确的法律见解。
    • Graph RAG(图结构 RAG)
      • 核心思想:将 RAG 与知识图谱深度结合形成 GraphRAG,利用知识图谱独特的图结构来表示和存储信息,通过图遍历和子图搜索等操作来检索信息。相较于传统 RAG,GraphRAG 在处理复杂关系时更具优势,能够提供更丰富的上下文信息,有效解决全局性问题。
      • 特点
        • 利用节点连接性捕捉实体间的关系:知识图谱中的节点代表实体,边表示实体之间的关系。GraphRAG 通过分析节点之间的连接关系

相关文章:

  • 如何在VMware虚拟机的window10系统中安装网易mumu模拟器
  • Linux权限(一)
  • 【Java】求绝对值
  • hive开窗函数边界值ROWS BETWEEN 和 RANGE BETWEEN区别
  • 【带你 langchain 双排系列教程】6.LangChain多模态输入与自定义输出实战指南
  • 机器学习数学通关指南——链式法则
  • Three.js轮廓线、边框线、选中效果实现的几种实现方法以及性能评估
  • Lock-Free环形队列C++实现
  • C进阶 自定义类型
  • 计算机性能指标
  • list结构刨析与模拟实现
  • 【p-camera-h5】 一款开箱即用的H5相机插件,支持拍照、录像、动态水印与样式高度定制化。
  • STM32——HAL库开发笔记22(定时器3—呼吸灯实验)(参考来源:b站铁头山羊)
  • muduo源码阅读:socket常见操作及一些补充
  • PAT甲级 1103 Integer Factorization
  • Docker安装Mysql
  • C语言图结构学习笔记
  • JavaScript函数-函数的返回值
  • 计算机网络之路由协议(自治系统)
  • AI学习之-阿里天池
  • 新闻1+1丨应对外部冲击,中央政治局会议释放哪些信号?
  • 乐聚创始人:人形机器人当前要考虑泡沫问题,年底或将进入冷静期
  • “五一”前多地市监部门告诫经营者:对预订客房不得毁约提价
  • 韩国检方起诉前总统文在寅
  • 佩斯科夫:俄美总统会晤正在筹备中,未设定停火最后期限
  • 宁德时代与广汽等五车企发布10款巧克力换电新车型:年内将完成30城1000站计划