在典型的RAG（检索增强生成）系统中，对知识库片段进行编码的**通常不是完整的LLM，而是专门用于生成文本向量表示的“文本嵌入模型” 但是也是transform 结构，仅仅是层级比较少，6-12；说白了就是小模型
目录
- 在典型的RAG（检索增强生成）系统中，对知识库片段进行编码的**通常不是完整的LLM，而是专门用于生成文本向量表示的“文本嵌入模型” 但是也是transform 结构，仅仅是层级比较少，6-12；说白了就是小模型
- 常见的文本嵌入模型
- 选择与使用建议
- 2. 编码过程详解：看的是CLS吗？
- 3. 举例说明 ：方法A（传统）：直接取 [CLS] 标记对应的向量作为该句子的表示。方法B（现代更常用）：对所有词元向量（或排除[CLS]和[SEP]后的词元向量）求平均值，得到一个句向量 V_doc。
首先，需要区分两个概念：
| 概念 | 在RAG流程中的作用 | 常见模型举例 |
|---|---|---|
| 文本嵌入模型 | 知识库编码与查询编码的核心。负责将文本转化为稠密向量。它通常是一个经过专门训练的、结构较简单的编码器。 | text-embedding-ada-002,BGE-M3,Sentence-BERT,BERT本身。 |
| 大语言模型 | 生成答案的核心。在检索到相关文本后，LLM负责阅读这些文本并合成最终答案。 | GPT-4, Claude, Llama, 通义千问等。 |
在RAG的检索阶段，充当“编码器”的是文本嵌入模型。
)