Langchain-Chatchat结合命名实体识别增强答案结构化输出

Langchain-Chatchat 结合命名实体识别实现答案结构化输出

在企业知识系统日益智能化的今天，一个常见的挑战浮出水面：如何让大语言模型不仅“会说话”，还能“交数据”？很多企业在部署本地问答系统时发现，尽管模型能流畅地生成自然语言回答，但这些答案却难以直接对接业务流程——财务系统需要字段化的金额与日期，合同管理系统期待明确的责任方和条款编号，而人工从一段段文本中摘录信息显然违背了自动化初衷。

正是在这样的背景下，Langchain-Chatchat作为一款开源、可本地部署的知识库问答框架，正被越来越多企业用于构建私有文档智能检索系统。它解决了“数据不出内网”的核心诉求，但若止步于此，仍停留在“高级搜索引擎+智能摘要”的层面。真正的突破点在于：将生成式AI的回答转化为结构化输出。而这，正是命名实体识别（NER）技术能够补上的关键一环。

Langchain-Chatchat 的本质是打通“文档→理解→响应”的闭环。它的运行并不依赖云端API，所有环节均可在本地完成。用户上传PDF、Word等格式的企业资料后，系统首先通过Unstructured或PyPDF2类工具提取文本内容，并利用递归字符分割器（如RecursiveCharacterTextSplitter）将长文本切分为语义连贯的小块。这一步看似简单，实则至关重要——中文没有空格分隔，粗暴按字数切分会割裂句子逻辑，因此合理的 chunk_size 与 overlap 设置直接影响后续检索质量。

接着，每个文本块被送入嵌入模型进行向量化。这里的选择尤为关键：直接使用英文通用模型（如 OpenAI 的 text-embedding-ada-002）处理中文效果往往不佳。推荐采用专为中文优化的模型，例如智源推出的BAAI/bge-small-zh系列。该系列模型在多个中文语义匹配任务中表现优异，能更准确捕捉“公司年度营收”与“去年总收入”之间的语义相似性。

向量生成后，系统将其存入本地向量数据库，如 FAISS 或 Chroma。FAISS 因其轻量高效、支持 CPU 推理，成为中小企业首选。当用户提问时，问题同样被编码为向量，在高维空间中搜索最相关的 Top-K 文档片段。这一过程模拟了人类“回忆相关经验再组织语言”的思维模式。

最终，检索到的相关文本与原始问题拼接成 Prompt，输入本地大语言模型（如 ChatGLM3、Qwen 或 Baichuan）。以RetrievalQA链为例，其底层逻辑清晰：先检索，后生成。这种方式避免了LLM“凭空编造”，确保回答有据可依。

from langchain.document_loaders import PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS from langchain.chains import RetrievalQA from langchain.llms import ChatGLM # 加载文档 loader = PyPDFLoader("knowledge.pdf") pages = loader.load() # 中文友好型分块 splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) docs = splitter.split_documents(pages) # 使用中文嵌入模型 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh") # 构建本地向量库 db = FAISS.from_documents(docs, embeddings) # 连接本地LLM服务 llm = ChatGLM(endpoint_url="http://127.0.0.1:8000", model_kwargs={"temperature": 0.7}) # 创建问答链 qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=db.as_retriever(search_kwargs={"k": 3}), return_source_documents=True ) # 执行查询 result = qa_chain({"query": "公司年度营收是多少？"}) print(result["result"])

上述代码展示了标准流程。然而，输出仍是类似“根据2023年财报，公司全年营收为8.6亿元人民币”的自然语言句子。如果我们要把这个数值写入报表或触发预警机制，就必须再次解析这段文字——而这恰恰是容易出错的地方。正则表达式可能误抓非目标数字，规则引擎难以应对表述变化，“八点六亿”、“约8.6亿”、“超8亿元”都会让传统方法失效。

于是，我们引入第二层处理：命名实体识别（NER）。

NER 的作用是从自由文本中抽取出具有特定意义的实体，如时间、地点、人物、组织、金额等。不同于LLM的“生成思维”，NER 是一种“标注思维”：它不关心语句是否通顺，只关注每个词或子词属于哪一类实体。现代 NER 多基于预训练语言模型微调而来，例如bert-base-chinese-ner，这类模型在 MSRA、Weibo NER 等中文数据集上已达到90%以上的F1值。

更重要的是，我们可以对模型进行领域适配。比如在金融场景下，“违约金比例”、“复利计算周期”可能是关键字段，通用NER无法识别，但通过收集少量合同文本并标注，就能微调出专属模型。这种“通用能力 + 垂直定制”的组合，极大提升了系统的实用性。

实际集成方式也很直观：将 LLM 输出的回答文本传给 NER 模块，后者返回结构化结果。Hugging Face 的pipeline接口让这一过程极为简洁：

from transformers import pipeline # 加载中文NER管道 ner_pipeline = pipeline( "ner", model="bert-base-chinese-ner", grouped_entities=True # 自动合并跨词实体 ) answer_text = "根据2023年财报，公司全年营收为8.6亿元人民币，总部位于上海市浦东新区。" entities = ner_pipeline(answer_text) structured_output = {} entity_mapping = { "DATE": "时间", "MONEY": "金额", "GPE": "地理位置", "ORG": "组织" } for ent in entities: label = entity_mapping.get(ent['entity_group'], ent['entity_group']) value = ent['word'] if label not in structured_output: structured_output[label] = [] if value not in structured_output[label]: structured_output[label].append(value) print(structured_output) # 输出示例： # {'时间': ['2023年'], '金额': ['8.6亿元人民币'], '地理位置': ['上海市浦东新区']}

注意grouped_entities=True参数，它能自动将“上海”和“市”合并为完整地名，显著提升可用性。此外，映射表将英文标签转为中文，便于前端展示或下游系统消费。最终输出是一个标准 JSON 字典，可无缝接入 ERP、CRM 或 BI 工具。

整个系统的工作流可以概括为：

[用户提问] ↓ [Langchain-Chatchat 问答引擎] ├── 文档加载 → 分块 → 向量化 → FAISS索引 └── 提问 → 检索 → LLM生成 → 自然语言回答 ↓ [NER后处理模块] ↓ [结构化JSON输出] ↓ [前端展示 / API输出 / 数据库存储]

这个架构看似简单，但在工程实践中需考虑诸多细节。首先是性能权衡：BERT-large 类模型精度高但推理慢，若系统要求毫秒级响应，可选用轻量级替代方案，如 AlBERT 或 TinyBERT 微调版本。其次，错误传播问题不容忽视——如果检索阶段未能命中正确文档，LLM 可能生成虚构内容，NER 也会随之提取出虚假实体。为此，建议加入置信度控制机制，例如仅当检索相似度超过设定阈值时才启用结构化抽取。

另一个重要考量是隐私加固。虽然 Langchain-Chatchat 已实现本地化，但如果 NER 依赖外部服务，依然存在泄露风险。因此，整个 NER 模块也应部署在本地，甚至可通过模型蒸馏技术，将大型教师模型的知识迁移到更小、更快的学生模型上，在保证精度的同时降低资源消耗。

在真实应用场景中，这套组合拳已展现出强大价值。例如某律师事务所在尽职调查中需审查上百份并购协议，律师只需提问“交易对价是多少”、“交割期限何时”，系统即可返回结构化字段，无需逐页翻阅。又如医疗机构将病历文档纳入知识库后，医生询问“患者上次用药剂量”，系统不仅能给出答案，还能自动提取药品名、用量、时间，辅助生成电子处方。

当然，这条路仍有拓展空间。当前 NER 是独立于 LLM 的后处理步骤，未来可探索端到端训练，使 LLM 在生成时即遵循某种结构化模板；也可结合槽填充（slot filling）与意图识别（intent detection），实现更复杂的对话式信息提取。

总而言之，Langchain-Chatchat 解决了“知道什么”的问题，而 NER 则回答了“怎么用”的问题。两者结合，不只是技术叠加，更是思维方式的升级：从“让人读机器话”变为“让机器产出人可用的数据”。这种高度集成的设计思路，正在推动企业智能问答系统从“演示玩具”走向“生产工具”，成为数字化转型中不可或缺的一环。