文章系统介绍RAG(检索增强生成)的六大优化策略,包括查询优化(解决歧义和信息不足)、知识库优化(文档处理和向量模型选型)、检索策略优化、召回优化、提示词兜底优化以及模型选型优化。这些策略从查询输入到知识库建设,再到检索、召回和生成,全方位优化RAG系统性能,帮助构建更精准、高效的问答系统。
🚀 RAG 优化六大策略归纳
- 🔍 查询优化 (Query Optimization)
查询优化主要解决用户输入查询中的歧义和信息不足的问题,确保查询能够准确命中知识库。
1.1. 指代消解问题
针对用户查询中出现的代词(如“它”、“这个”),导致语义不明确的问题,采取以下措施:
- 意图识别:通过增加共识实体词,帮助模型理解上下文。
- 压缩上下文:拼接用户历史
query,确保查询语义完整。 - 引入工具:利用工具改写查询,以消除代词带来的歧义。
- 迭代策略:没有办法完全避免,只能多收集 badcase 进行迭代优化。
1.2. 信息本身无法命中知识库
针对查询内容过于宽泛或过于具体而无法匹配知识库的问题:
- 问题归类:抽取类型实体词,进行针对性匹配。
- 问题升维:扩充高层次关键词,增加召回范围。
- 问题降维:扩充低层次关键词,提高匹配精准度。
- 参考项目:建议拆解LightRAG、MiniRAG、RAGFlow项目中优化查询相关的提示词。
- 📚 知识库优化 (Knowledge Base Optimization)
知识库的质量是 RAG 效果的基石,重点在于文档和分段的精细化处理,以及向量嵌入模型的合理选择。
2.1. 文档精细化处理
Why:对原始文档原料进行清洗,确保输入质量。
How:
- 文档转 MD 工具:Markdown 是大模型默认输出格式,所有模型都能精确识别。具体工具如下:
- Marker:大模型出现之前的工具。
- MinerU:大模型处理专用,本地部署配置要求高(至少 内存 + 显存 + 存储)。
- MarkItDown:微软出品,需调用收费 API 使用。
- Docling:付费;免费版本地运行配置要求高。
- Dolphin:字节跳动的工具。
- 注:以上具体效果建议看测评结果。
- 文档中表格处理:使用 Markdown 格式表达。
- 文档中图片处理:
- 避免 Badcase:Word 图片以 base64 存储,会占用大量 token。
- 统一格式:使用 Markdown 格式
文本格式表示图片。 - 一致性:文本理解和图片理解的向量嵌入模型要保持一致。
2.2. 分段精细化处理
What:提升分段信息的丰富度。
Why:便于分段能够正确的被召回。
How:
- 关键词提取。
- 问题提取。
- 推荐拆解RAGFlow项目。
2.3. 向量嵌入模型合理选型
模型关键指标:
- 参数量:代表模型的知识面/精细程度。
- 维度:代表模型的颗粒度。
- 上下文长度:决定最大可分段长度。
- 选型建议:参考 Huggingface 实时更新的测评榜单,重点关注Retrieval指标,实际选型应依赖自主测评。
- 🧭 检索策略优化 (Retrieval Strategy Optimization)
根据查询类型,选择最合适的检索方式:
- 关键词检索:适用于生僻词、专有名词、简短问题、结构化查询。
- 语义检索:适用于口语化表达、长句检索、多语言检索。
- 🎣 召回优化 (Recall Optimization)
当 Embedding 模型效果不理想时,需要通过后处理手段提升召回结果的质量。
Why:Embedding 模型效果不理想。
How:
- 重排序:
- 使用 Rerank 模型重新打分(有些嵌入模型自带该功能)。
- 阈值调整:
- 高阈值:答案分段质量高,但可能召回少。
- 低阈值:分段碎、关联差,但召回全。
- 策略:具体落地取决于实际业务场景和需求。
- 🛡️ 提示词兜底优化 (Prompt Fallback Optimization)
针对不同的召回情况,设计专门的 Prompt 进行处理:
- 未召回答案:如果
<knowledge>标签内为空,回复“这个问题暂未被收录”。 - 答案冗余或无效:
- 仔细分析、辨识
<knowledge>标签内的内容,识别其中与问题相关内容,编辑后回答用户。 - 如果内容与问题不相关,则回复特定话术。
- 召回答案残缺:仔细分析、辨识
<knowledge>标签内的内容,确保它们可以完整的回答用户的问题;如果内容残缺则回复“信息缺失,请联系…”。 - 包含图片:以 Markdown
(<img>)标记的图片为问题的支持资料,请保留你选取答案前后的图片表达式,确保它们可以正常显示。
- 🤖 模型选型优化 (Model Selection Optimization)
选择合适的 LLM 模型作为生成器,是 RAG 流程的最后一步关键优化。
最后
我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包:
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型?
人工智能技术的爆发式增长,正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议,到全国两会关于AI产业发展的政策聚焦,再到招聘会上排起的长队,AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证:2025年2月,AI领域求职人数同比增幅突破200%,远超其他行业平均水平;整个人工智能行业的求职增速达到33.4%,位居各行业榜首,其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张,也让人才供需矛盾愈发突出。麦肯锡报告明确预测,到2030年中国AI专业人才需求将达600万人,人才缺口可能高达400万人,这一缺口不仅存在于核心技术领域,更蔓延至产业应用的各个环节。
资料包有什么?
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图(还有视频解说)
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了,这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**