检索+生成：RAG技术的核心机制及其应用流程解析

RAG概念

检索增强生成（Retrieval Augmented Generation），简称 RAG。可简单描述为：RAG（检索增强生成） = 检索技术 + LLM 提示。RAG主要用于解决：模型知识的局限性、 模型幻觉问题、数据安全性问题等。

例如，我们向 LLM 提问一个问题，RAG 从各种数据源检索相关的信息，并将检索到的信息和问题注入到 LLM 提示中，LLM 最后给出答案。这个过程有两个主要步骤：语义搜索和生成输出。在语义搜索步骤中，从知识库中找到与查询最相关的部分内容。在生成步骤中，使用这些查询到的内容来生成响应。

RAG架构

如图所示，RAG是通过检索获取相关的知识并将其融入Prompt，让大模型能够参考相应的知识从而给出合理回答。核心为“检索+生成”，前者主要是利用向量数据库的高效存储和检索能力，召回目标知识；后者则是利用大模型和Prompt工程，将召回的知识合理利用，生成目标答案。

RAG应用流程主要包含两个阶段：

数据准备阶段：
数据提取—>文本分割—>向量化（embedding）—>数据入库
应用阶段：
用户提问—>数据检索（召回）—>注入Prompt—>LLM生成答案

数据准备阶段

主要是将私域数据向量化后构建索引并存入数据库的过程。包括：数据提取、文本分割、向量化、数据入库等环节。

数据提取

• •数据加载：包括多格式数据加载、不同数据源获取等。
• •数据处理：包括数据过滤、压缩、格式化等。
• •元数据获取：提取数据中关键信息，例如文件名、Title、时间等 。

文本分割

文本分割主要考虑两个因素：embedding模型的Tokens限制情况以及语义完整性对整体的检索效果的影响。

常见文本分割方式如下：

• •句分割：以”句”的粒度进行切分，保留一个句子的完整语义。常见切分符包括：句号、感叹号、问号、换行符等。
• •固定长度分割：根据embedding模型的token长度限制，将文本分割为固定长度（例如256/512个tokens），这种切分方式会损失很多语义信息，一般通过在头尾增加一定冗余量来缓解。

向量化（embedding）

向量化是将文本数据转化为向量矩阵的过程。常见的embedding模型如下表所示。

• • 数据入库：数据向量化后构建索引，并写入数据库的过程，常用数据库包括：FAISS、Chromadb、ES、milvus等。

应用阶段

根据用户的提问，通过高效检索方法，召回与提问最相关的知识，并融入Prompt；大模型参考当前提问和相关知识，生成相应的答案。关键环节包括：数据检索、注入Prompt等。

数据检索

常见检索方法包括：相似性检索、全文检索等，一般可以选择多种检索方式融合，提升召回率。

• •相似性检索：即计算查询向量与所有存储向量的相似性得分，返回得分高的记录。常见方法包括：余弦相似性、欧氏距离、曼哈顿距离等。
• •全文检索：在数据存入时，通过关键词构建倒排索引；在检索时，通过关键词进行全文检索，找到对应的记录。

注入Prompt

在RAG场景中，Prompt一般包括任务描述、背景知识（检索得到）、任务指令（一般是用户提问）等，根据任务场景和大模型性能，也可以在Prompt中适当加入其他指令优化大模型的输出。

一个简单知识问答场景的Prompt如下所示：

【任务描述】假如你是一个专业的客服机器人，请参考【背景知识】，回【背景知识】{content} // 数据检索得到的相关文本【问题】石头扫地机器人P10的续航时间是多久？

在实际应用过程中，需要根据大模型的实际输出进行针对性的Prompt调优。

原始RAG

标准的 RAG 流程：将文本分块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有向量放入索引中，最后创建一个 LLM 提示，告诉模型根据我们在搜索步骤中找到的上下文回答用户的查询。

在运行时，使用同一编码器模型对用户的查询进行向量化，然后搜索该查询向量的索引，找到 top-k 个结果，从我们的数据库中检索相应的文本块，并将它们作为上下文输入到 LLM 提示中。

提示与下边内容类似：

def question_answering(context, query): prompt = f""" Give the answer to the user query delimited by triple backticks {query}\ using the information given in context delimited by triple backticks {context}.\ If there is no relevant information in the provided context, try to answer yourself, but tell user that you did not have any relevant context to base your answer on. Be concise and output the answer of size less than 80 tokens. """ response = get_completion(instruction, prompt, model="gpt-3.5-turbo") answer = response.choices[0].message["content"] return answer

高级RAG

1、分块 (Chunking) & 向量化 (Vectorisation)

1.1 分块 (Chunking)

将初始文档拆分为一定大小的块，块的大小取决于所使用的嵌入模型以及模型需要使用 token 的容量。

1.2 向量化 (Vectorisation)

选择一个搜索优化的模型来嵌入我们的块。比如 bge-large 或 E5 嵌入系列。

2、搜索索引

2.1 向量存储索引

RAG 管道的关键部分是搜索索引，一般采用向量索引，比如faiss、nmslib 以及 annoy这些工具，基于近似最近邻居算法，如聚类、树结构或HNSW算法。

2.2 分层索引

在大型数据库情况下，一个有效的方法是创建两个索引——一个由摘要组成，另一个由文档块组成，然后分两步进行搜索，首先通过摘要过滤掉相关文档，然后只在这个相关组内搜索。

2.3 假设性问题和HyDE(Hypothetical Document Embeddings,假设性文档嵌入)

假设性问题：让 LLM 为每个块生成一个问题，并将这些问题嵌入到向量中，在运行时对这个问题向量的索引执行查询搜索（将块向量替换为索引中的问题向量），然后在检索后路由到原始文本块并将它们作为 LLM 获取答案的上下文发送。

假设性文档嵌入：根据输入问题生成一个假设性答案，然后对该假设性答案进行嵌入与检索（可以同时携带原问题）。即要求 LLM 在给定查询的情况下生成一个假设的响应，然后将其向量与查询向量一起使用来提高搜索质量。

2.4 内容增强

2.4.1 语句窗口检索器

文档中的每个句子都是单独嵌入的。为了在获取最相关的单个句子后更好地推理找到的上下文，将上下文窗口扩展为检索到的句子前后的 k 个句子，然后将这个扩展的上下文发送到 LLM。

绿色部分是在索引中搜索时发现的句子嵌入，整个黑色 + 绿色段落被送到 LLM 以扩大其上下文，同时根据提供的查询进行推理。

2.4.2 自动合并检索器（或父文档检索器)

思路与语句窗口检索器非常相似——搜索更精细的信息片段，然后在LLM 进行推理之前扩展上下文窗口。文档被拆分为较小的子块，这些子块和较大的父块有引用关系。

首先在检索过程中获取较小的块，然后如果前 k 个检索到的块中有超过 n 个块链接到同一个父节点（较大的块），将这个父节点替换成给 LLM 的上下文。

2.5 融合检索或混合搜索

结合传统的基于关键字的搜索（稀疏检索算法，如 tf-idf 或搜索行业标准 BM25）和现代语义或向量搜索，并将其结果组合在一个检索结果中。唯一的关键是如何组合不同相似度分数的检索结果。通常通过 Reciprocal Rank Fusion 算法来解决。

混合或融合搜索通常能提供更优秀的检索结果，因为它既考虑了查询和存储文档之间的语义相似性，也考虑了关键词匹配。

3、重排（reranking）和过滤（filtering）

根据相似性分数、关键字、元数据过滤掉结果，或使用其他模型（如 LLM）、sentence-transformer 交叉编码器，Cohere 重排名接口、或者基于元数据重排检索到的上下文。

4、查询转换

查询转换是一系列技术，使用 LLM 作为推理引擎来修改用户输入以提高检索质量。

对于复杂的查询，大语言模型能够将其拆分为多个子查询。比如，

当你问：“在 Github 上，Langchain 和 LlamaIndex 这两个框架哪个更受欢迎？”，

我们不太可能直接在语料库找到它们的比较，所以将这个问题分解为两个更简单、具体的合理的子查询：

• • “Langchain 在 Github 上有多少星？”
• • “Llamaindex 在 Github 上有多少星？”

这些子查询会并行执行，检索到的信息随后被汇总到一个 LLM 提示词中。

5、聊天引擎

通过查询压缩技术，将聊天上下文与用户查询一起考虑在内。如ContextChatEngine，首先检索与用户查询相关的上下文，然后将其与内存缓冲区中的聊天记录一起发送到 LLM，以便 LLM 在生成下一个答案时了解上一个上下文。

6、查询路由

查询路由是 LLM 驱动的决策步骤，决定在给定用户查询的情况下下一步该做什么——选项通常是总结、对某些数据索引执行搜索或尝试许多不同的路由，然后将它们的输出综合到一个答案中。

查询路由器还用于选择数据存储位置来处理用户查询。比如传统的向量存储、图形数据库或关系型数据库，或者是不同层级的索引系统。

7、响应合成

响应合成的主要方法有：

• • 通过将检索到的上下文逐块发送到 LLM 来优化答案
• • 概括检索到的上下文，以适应提示
• • 根据不同的上下文块生成多个答案，然后将它们连接或概括起来。

总结

RAG是一个强大的功能，能够提高语义搜索效率。它让大语言模型（LLM）在回答问题前，先从外部知识库中检索相关信息，再基于检索结果生成更准确、可靠的回答。主要解决了知识时效性、 幻觉问题、 专业领域知识、可解释性问题。覆盖了智能客服、 企业知识库、 法律咨询、医疗辅助、AI搜索引擎等多种典型应用场景。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！