大模型走进日常科研后,一些尴尬现实很快暴露出来:它懂很多公共知识,却不懂我们的本地资料;什么都能聊两句,却对特定领域知之甚少,或者很难长期按既定规则稳定办事。
于是就出现了两条互补的路子:
- 用 RAG 把文献、政策、会议记录、内部文件交给大模型,让它回答时真正基于我们的材料;
- 微调大模型实现将我们的专业领域知识、文风偏好刻入大模型,让它在特定领域中上更像一个可重复使用的专家助手。
这篇文章讨论的,就是这两种知识增强模式分别解决了什么痛点,对不同人意味着什么,在哪些场景各有优势,以及在社科研究中应当如何选择和使用。
RAG 和模型微调各自是在做什么
RAG(Retrieval-Augmented Generation,检索增强生成)做的事情可以概括成两步:
- 查资料:用户提问后,系统在你提供的文档库(政策、论文、报告、会议记录等)里检索出若干相关片段。
- 让模型基于这些资料作答:把“问题 + 检索到的片段”一起喂给大模型,让它参考这些内容生成回答、摘要或说明。
关键点是:RAG 不改模型本身,只改变“模型每次看到的资料”。
它的作用是:让模型在回答时,能且只能用上你自己的文档和知识库,而不是只靠它预训练时学到的公共知识
“能且只能用上你自己的文档和知识库”指的是大多数开发者或厂商的知识库产品策略,实际情况是 RAG 可以同时调用知识库内容和模型本身的知识。
简易版 RAG 工作原理示意图(弱化了不易理解的向量化步骤)
模型微调:在模型内部写入你的任务偏好
模型微调(fine-tuning)是在现成大模型的基础上,再用你的数据训练一次:
- 准备一批示例:输入是什么、你希望它输出成什么样(例如:文献 → 按你设定框架的摘要;文本 → 你预先定义好的标签/分类)。
- 用这些示例继续训练模型:调整模型参数,让它在类似输入下,更自然地给出你想要的那种输出。
关键点是:微调直接改变模型内部参数,相当于给它长期安排一套新知识和新习惯。
它的作用是:让模型在特定任务、特定风格上更贴合你的要求,而不需要每次都通过很复杂的提示词去“临时引导”。
简易版模型微调示意图
RAG 和模型微调分别缓解了哪些痛点,副作用又是什么?
**RAG 知识库解决的核心问题,是大模型看不到我们的资料。**在社科研究和学习的过程中,几个常见的痛点是:
- 本地知识模型根本不知道 地方性政策、内部制度、项目报告、会议记录、内部统计表……通用大模型在预训练时通常都没见过。
- 大模型无法及时更新最新的知识,文献,而用户则可以随时把新内容上传到知识库。
- 资料多且分散,人工查找成本高 一项研究可能涉及几十份政策文本、若干期刊论文,靠人翻查耗时耗力,靠关键词查找又容易漏掉重要内容。
- 需要“有依据”的回答 不只是要一个结论,还要知道:这句话出自哪份文件、哪一条规定、哪一段记录,这是最强有力的抑制大模型幻觉的方式之一。相比之下通用大模型就是一个黑箱,我们无法得知它基于什么材料做出回答。
RAG 自身的副作用也特别明显,就是**它只能基于知识库进行问答,对知识库外的内容一无所知,而且回答的质量高度依赖检索和知识库内容质量。**比方说:
- 如果知识库中含有错误知识和“过期”知识,那么回答的结果必然也不正确。
- 模型无法在用户的知识库中检索到相关信息,可能是因为别名,提问时换了个说法等等。
- 模型只知道知识库中的知识,知识库外的任何知识都无法回答。
模型微调解决的是模型在特定领域的知识储备不够,或者太过依赖提示词,行为不够稳定。
即便不接知识库,通用大模型在很多社科任务上已经“能用”,但常常存在这些痛点:
- 普通大模型在特定领域,尤其是小众领域上的表现不佳,同时无法获取该领域的最新内容。我们通过微调模型。能够让模型在特定领域中加强认知,最终在该领域上让 8B 参数的模型拥有比肩 200B 普通大模型的能力。
- 每次都要写很长的提示词,结果仍不稳定 同一个情感分类、立场判断、主题编码任务,今天提示 A、明天提示 B,输出规则不一,难以批量使用。
- 重复性任务难以规模化自动执行 比如给成千上万条文本打标签、按预设框架做摘要,如果完全依赖 prompt,很难保证效率和一致性。
模型微调的短板同样明显,总的来说,除了解决了的痛点,其余的几乎都是缺点。
- 和 RAG 一样,高度依赖微调时的材料,微调后的模型很容易学到材料中的坏知识、坏习惯。
- 可能会造成其他领域能力的退化。
- 和 RAG 相比,依然是一个“黑箱”,我们无法得知模型的回答是基于微调的材料,还是模型本身就带有的知识。
- 技术成本和人力成本明显都更高,对个人用户不友好。
社科人如何做选择
这个问题要从三个方面分析:获得的效益、能否容忍缺点以及付出的成本。
先说 RAG,明显的效益就是我们可以通过自然语言提问的方式轻松获取到自己“资料库”中的知识,能从模型回答中快速定位到回答的依据,不必担心模型回答的可靠性,而且 AI 还会帮你做相关的数据分析。
RAG 的缺点在上文已经说明,最明显的就是其没有通用大模型的能力,只能基于知识库作答。
基于RAG知识库的非库内知识问答
最后就是成本,对于个人用户来说,RAG 的门槛非常低,市面上已经有做得很好的面向个人的免费 RAG 网站或应用软件。对用户的技术低到可以忽略,只需要动动手把自己的资料上传即可。后续知识库构建的复杂步骤全部由服务商提供。
所以 RAG 路线非常适合对大模型技术能力不高,不想花费过多时间,又希望能够快速基于已有材料进行检索、问答、分析等任务的人。
再说模型微调,微调后的模型能够在特定领域中表现更佳,能够一定程度上弥补大模型无法代替专业技术人士工作的难题,且微调后的模型一般非常稳定,在特定任务上提高一致性和可重复性,比如情感/立场分类、多标签编码、按固定框架总结文献等。
模型微调的缺点主要集中在成本和微调过程中,不妨都放在下一段说明吧。
模型微调的成本非常高,如果用户要做本地部署,让微调好的模型能够稳定干活,那么不仅要求用户具备专业的技术能力,一步一步操作,还需要购买价格昂贵的硬件做支撑。而且有意思的是,想要微调后的模型具备更强的能力,就越是需要选择参数更多的大模型作为“底座”,越是用更“大”的模型,需要的硬件就越昂贵。所以要求越高,花费也就越高,这怎么听都不适合个人用户,而是面向企业开发者。
如果不走本地部署路线,转而使用大厂提供的模型微调接口,那么情况要好一些,但还是对用户有较高的技术能力要求,因为这条路线基本上还是需要用户自己提供训练数据,而且训练过程需要按 Token 计费,训练后的调用也要继续付费。所以对普通人还是不够友好。
模型微调对于普通人最尴尬的一点是,花费大量精力,在本地部署的一个“低参数”大模型,其表现可能仍比不上顶尖的的通用大模型 [1]。那么用户为什么不选择使用高参数的通用大模型的 API 服务呢?所以我们认为模型微调的局限性还是太强了,这也是相关产品没有全面铺开的主要原因。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
作为一名老互联网人,看着AI越来越火,也总想为大家做点啥。干脆把我这几年整理的AI大模型干货全拿出来了。
包括入门指南、学习路径图、精选书籍、视频课,还有我录的一些实战讲解。全部免费,不搞虚的。
学习从来都是自己的事,我能做的就是帮你把路铺平一点。资料都放在下面了,有需要的直接拿,能用到多少就看你自己了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以点击文章最下方的VX名片免费领取【保真100%】