从人工规则到AI大脑：自然语言处理60年进化全揭秘

你对着手机说“帮我订一张明天去北京的高铁票”，手机立刻照办——这背后，是一场持续了六十多年的技术马拉松。

自然语言处理（NLP）的目标只有一个：让电脑看懂人话、说人话。听起来简单，做起来却难如登天。因为人类语言充满了歧义、省略、反讽和无穷无尽的新说法。

今天，我就带你完整回顾NLP从“手写规则”到“深度学习”的四个进化阶段。全文会穿插大量可运行的代码示例，保证你能一边看一边理解。

一、NLP到底在解决哪些问题？

在聊历史之前，我们先搞清楚NLP通常处理哪几类任务。后面每个阶段的技术都是冲着这些任务去的。

1.1 文本分类

给整段文字贴一个标签。比如：

• 判断酒店评论是好评还是差评（情感分析）

• 判断一封邮件是不是垃圾邮件

• 判断新闻属于体育、财经还是娱乐

1.2 序列标注

给文本中的每个词打上一个标签。最典型的例子是命名实体识别：从一句话里把人名、地名、日期、手机号等找出来。

比如下面这个收货地址信息：

收货人：王雷 手机号：13812345678 地址：西部硅谷大厦6栋201室

我们希望自动标出：王雷（人名）、13812345678（手机号）、西部硅谷大厦（地名）、6栋201室（门牌号）。

序列标注常用的标记法是BIO：

• B

  （Begin）：一个实体的开头

• I

  （Inside）：一个实体的内部

• O

  （Outside）：不是实体

例如“王雷住在深圳”标注为：王(B-人名) 雷(I-人名) 住(O) 在(O) 深(B-地名) 圳(I-地名)

1.3 文本转换

把一种形式的文本变成另一种形式。包括：

• 机器翻译（中文→英文）

• 文本摘要（长文章→短摘要）

• 风格转换（口语→书面语）

理解了这些任务，我们下面来看技术是如何一步步实现它们的。

二、第一阶段：规则系统（1950s–1980s）—— 像教小孩背课文

早期的科学家非常乐观：他们认为语言就是“词典 + 语法规则”。只要把这两样东西写成代码，计算机就能理解语言。

2.1 Georgetown-IBM实验：字典加规则硬翻译

1954年，乔治城大学和IBM搞了一次轰动性的演示：把60多个俄语句子自动翻译成英语。当时的媒体兴奋地预测“三五年内机器翻译将取代人工”。结果呢？六十多年后的今天，机器翻译仍然需要人工校对。

这个系统的工作流程非常直白：

1. 查词典：每个俄语单词找到对应的英语单词

2. 调语序：按照英语语法规则重新排列单词顺序

3. 输出句子

下面用代码模拟这个过程：

# 模拟1954年规则翻译系统的核心逻辑 class RuleBasedTranslator: def __init__(self): # 俄语 -> 英语 词典 self.dictionary = { 'automobilu': 'car', 'edet': 'goes', 'bistro': 'fast' } def translate(self, russian_text): # 步骤1：按空格切分单词 tokens = russian_text.split() # 步骤2：逐个查词典 english_words = [self.dictionary.get(token, token) for token in tokens] # 步骤3：按英语语序拼接（本例中顺序相同，实际复杂得多） return ' '.join(english_words) # 运行示例 translator = RuleBasedTranslator() print(translator.translate("automobilu edet bistro")) # 输出: car goes fast

这个系统的缺陷非常明显：

• 换个语言就要重写词典和所有语法规则

• 遇到词典里没有的词就直接卡壳

• 无法处理歧义（比如“bank”可以是银行也可以是河岸）

2.2 ELIZA：世界上第一个“心理医生”聊天机器人

1966年，MIT的Joseph Weizenbaum写了一个叫ELIZA的程序。它假装成一位心理医生——心理医生的特点就是不停反问，ELIZA完美模仿了这一招。

它的原理比翻译系统还简单：

1. 扫描用户输入，寻找预定义的关键词

2. 匹配预设的模式（比如“我感到X”）

3. 用固定模板生成回复（把X填进“你为什么感到X？”）

下面是一个迷你ELIZA的实现：

import re # 迷你版ELIZA聊天机器人 class MiniELIZA: def __init__(self): # 规则列表：每个元素是 (正则表达式, 回复生成函数) self.rules = [ (re.compile(r'.*我感到(.*)', re.IGNORECASE), lambda m: f'你为什么感到{m.group(1)}？'), (re.compile(r'.*我(喜欢|讨厌)(.*)', re.IGNORECASE), lambda m: f'你为什么{m.group(1)}{m.group(2)}？'), (re.compile(r'.*你好.*', re.IGNORECASE), lambda m: '你好，今天有什么想聊的吗？'), ] self.default_response = "嗯，我明白了，请继续说。" def respond(self, user_input): # 遍历所有规则，找到第一个匹配的 for pattern, response_func in self.rules: match = pattern.match(user_input) if match: return response_func(match) return self.default_response # 测试一下 eliza = MiniELIZA() print(eliza.respond("我感到焦虑")) # 输出: 你为什么感到焦虑？ print(eliza.respond("我喜欢编程")) # 输出: 你为什么喜欢编程？ print(eliza.respond("你好")) # 输出: 你好，今天有什么想聊的吗？ print(eliza.respond("我的猫生病了")) # 输出: 嗯，我明白了，请继续说。

ELIZA根本不懂“焦虑”是什么，它只是像鹦鹉学舌一样，把你的话里的关键词掏出来再塞回模板。但很多用户居然真的以为它是一位善解人意的心理医生——这说明人类有多容易把简单的模式匹配误解为“智能”。

规则系统的核心缺陷：

• 规则永远写不完。英语光语法规则就有几千条，更别说处理例外了。

• 无法应对歧义和新词。比如“他吃食堂”里的“吃”其实是“去……吃饭”的意思，但词典里只会写“eat”。

• 扩展性极差。加一个新功能就要加一堆新规则，最后系统变成一团乱麻。

三、第二阶段：统计方法（1990s–2000s）—— 让数据说话

到了90年代，计算机变强了，互联网也积累了海量文本数据。科学家们换了个思路：不写规则了，让机器自己从数据里统计规律。这就是“数据驱动”的方法。

统计方法的核心思想很简单：一个词出现的概率，只取决于它前面几个词。你不需要告诉计算机“形容词通常放在名词前面”，它只要看过足够多的句子，自己就能算出“红车”出现的次数比“车红”多得多。

3.1 N-gram模型：猜下一个词是什么

N-gram是统计方法中最基础的语言模型。它的假设是：一个词的概率只取决于它前面的 N-1 个词。

• N=2

  叫 Bigram（只依赖前1个词）

• N=3

  叫 Trigram（依赖前2个词）

下面用中文例子来演示。假设我们有这样几条训练语料（已经分好词，词之间用空格隔开）：

现在我们来统计 Bigram（连续两个词的出现次数）：

from collections import defaultdict, Counter # 训练语料（已分词，每个句子是词列表） corpus = [ ['我', '爱', '你'], ['我', '想', '你'], ['我', '爱', '北京'], ['我', '想', '吃', '北京', '烤鸭'], ['我', '想', '去', '北京'], ['北京', '烤鸭', '很', '好吃'] ] # 统计Bigram频次 bigram_counts = defaultdict(Counter) for sentence in corpus: for i in range(len(sentence) - 1): prev_word = sentence[i] next_word = sentence[i+1] bigram_counts[prev_word][next_word] += 1 # 查看“我”后面都跟过哪些词 print(dict(bigram_counts['我'])) # 输出: {'爱': 2, '想': 3} # 根据Bigram模型预测给定前一个词的下一个词（取频次最高的） def predict_next(prev_word): if prev_word not in bigram_counts: return None return max(bigram_counts[prev_word].items(), key=lambda x: x[1])[0] print(predict_next('我')) # 输出: '想'（因为“我想”出现3次 > “我爱”2次）

这个简单的模型已经能做“续写”了：给定“我”，它认为后面最可能是“想”。不需要任何语法知识，纯靠统计就能学会词语搭配。

但N-gram也有明显缺陷：

• 如果训练数据里从来没出现过“我 吃 披萨”，模型就认为这个组合的概率是0（尽管它可能是正确的）。

• 为了解决这个问题，后来引入了平滑技术（比如给没见过的组合分配一个很小的概率，例如加一平滑）。

3.2 隐马尔可夫模型（HMM）做词性标注

词性标注就是把每个词标上名词、动词、形容词等。HMM在这个任务上很成功。它的想法是：我们看到的词是“观测值”，背后隐藏着它们的词性序列。通过统计“词性→词性”的转移概率和“词性→词”的发射概率，就可以反推出最可能的词性序列。

HMM的数学细节比较复杂，这里不展开完整代码。你只需要知道：它是在一张概率图上找最优路径，用的算法叫维特比（Viterbi）。

统计方法的进步：

• 泛化能力大大增强：只要训练数据足够多，模型就能自动学到各种语言规律。

• 不再需要人工编写语法规则。

• 但仍然需要人工设计特征——比如词本身、大小写、是否包含数字、前后缀等。特征工程仍然很繁琐。

四、第三阶段：浅层机器学习（2000s–2010s）—— 特征工程的艺术

这个阶段，研究者开始使用更复杂的机器学习模型，比如逻辑回归、支持向量机（SVM）、条件随机场（CRF）。但核心工作依然是特征工程——手工设计各种特征来喂给模型。

4.1 词袋模型 + 逻辑回归做情感分类

词袋模型（Bag-of-Words）是最简单的文本表示方法：忽略词序，只统计每个词出现了几次。

from sklearn.feature_extraction.text import CountVectorizer from sklearn.linear_model import LogisticRegression # 样本评论（1=好评，0=差评） reviews = [ "服务很好 环境干净", # 好评 "服务很差 环境脏乱", # 差评 "服务一般 环境还行", # 中评（这里标为1仅作演示） "太差了 再也不来" # 差评 ] labels = [1, 0, 1, 0] # 将文本转换为词袋向量（注意：中文需要自己加空格分词，这里已加） vectorizer = CountVectorizer() X = vectorizer.fit_transform(reviews) print("词表:", vectorizer.get_feature_names_out()) # 输出类似: ['一般', '不来', '再也不', '太差', '很好', '很脏', ...] # 训练逻辑回归模型 model = LogisticRegression() model.fit(X, labels) # 预测一条新评论 new_review = ["味道很好 但服务很差"] X_new = vectorizer.transform(new_review) pred = model.predict(X_new) print("预测结果:", "好评" if pred[0]==1 else "差评")

词袋模型简单好用，但它有一个致命缺陷：完全丢失了词序信息。

比如下面两条评论：

• A: “服务很好 但味道很差” （服务好但味道差）

• B: “味道很好 但服务很差” （味道好但服务差）

在词袋模型中，两条评论的特征向量完全相同（都包含“服务”“很好”“但”“味道”“很差”）。但它们的实际情感倾向可能完全不同。这显然不合理。

为了解决这个问题，人们引入了n-gram特征：不光统计单个词（1-gram），还统计连续两个词（2-gram）、三个词（3-gram）。这样上面两个句子就能区分开了：

• A的trigram: ["服务很好", "很好但", "但味道", "味道很差"]

• B的trigram: ["味道很好", "很好但", "但服务", "服务很差"]

可以看到，两者的trigram集合完全不同。n-gram在一定程度上保留了局部词序信息，算是一种折中方案。

在代码中，只需修改CountVectorizer的参数即可：

# 使用2-gram和3-gram特征 vectorizer = CountVectorizer(ngram_range=(1, 3))

五、第四阶段：深度学习（2010s–至今）—— 自动学习特征，全面超越

深度学习的最大革命是：不再需要人工设计特征。你把原始文本直接扔进神经网络，它自己就能从数据中学习出有用的表示。

5.1 RNN / LSTM / GRU：处理序列数据

文本天然是一个序列（词一个接一个出现）。循环神经网络（RNN）专门为此设计：它有一个隐藏状态，可以把前一个词的信息传递到下一个词。

但传统RNN有一个问题：长距离依赖。当句子很长时（比如200个词），开头的词对结尾的影响会指数级衰减，模型很难记住。LSTM（长短期记忆网络）和GRU（门控循环单元）通过引入“门”机制解决了这个问题，可以选择性地记住或遗忘信息。

LSTM（Long Short-Term Memory）

GRU（Gated Recurrent Unit）

下面是一个用PyTorch实现的简单LSTM情感分类器（仅结构示意，不含训练代码）：

import torch import torch.nn as nn # 简单的LSTM情感分类模型 class SimpleLSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() # 词嵌入层：将单词ID映射为稠密向量 self.embedding = nn.Embedding(vocab_size, embed_dim) # LSTM层 self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True) # 全连接分类层 self.classifier = nn.Linear(hidden_dim, num_classes) def forward(self, x): # x的形状: (batch_size, seq_len) 每个元素是单词的ID emb = self.embedding(x) # (batch, seq_len, embed_dim) # LSTM输出: 所有时刻的隐藏状态 和 最后一个时刻的隐藏状态 _, (hidden, _) = self.lstm(emb) # hidden形状: (1, batch, hidden_dim) final_repr = hidden.squeeze(0) # (batch, hidden_dim) logits = self.classifier(final_repr) # (batch, num_classes) return logits

关键点：你不需要再手动构造“词是否大写”“是否包含数字”等特征。LSTM会自动学习到哪些信息对分类有用。

5.2 Transformer：彻底改变NLP的架构

2017年，Google发表了论文《Attention Is All You Need》，提出了Transformer架构。它完全抛弃了RNN的循环结构，只使用注意力机制（Attention）。

注意力机制可以理解为：在生成每个输出词的时候，模型会“回看”输入句子里的所有词，并给每个词分配一个注意力分数（权重）。分数越高的词对当前输出影响越大。

比如翻译“我爱你”到“I love you”时：

• 生成“I”的时候，模型重点关注“我”

• 生成“love”的时候，重点关注“爱”

• 生成“you”的时候，重点关注“你”

这非常符合直觉。

Transformer由编码器（Encoder）和解码器（Decoder）组成：

• 编码器：把输入句子编码成一系列向量（每个位置包含整个句子的信息）

• 解码器：基于编码器的输出，一步一步生成目标句子

基于Transformer，研究者们开发出了预训练大模型（BERT、GPT等）：

• BERT

  ：擅长理解任务，如情感分析、问答、命名实体识别

• GPT

  ：擅长生成任务，如写文章、对话、代码生成

这些大模型先在超大规模文本上“预训练”，学会通用的语言知识，然后在具体任务上“微调”一小下，效果碾压传统方法。

六、总结与个人看法

我们一路从1950年代走到了2020年代，技术演进可以总结为下面这张表：

个人观点（供参考）：

1. 不要迷信“端到端”

   。虽然深度学习省去了特征工程，但在某些垂直领域（比如金融、医疗），人工设计的规则仍然非常有用。很多时候，规则 + 统计 + 深度学习混合使用才是最稳妥的方案。

2. 大模型不是终点

   。GPT-4很强大，但它仍然会犯低级错误，而且成本高、推理慢。未来一定是“大模型做底座 + 小模型/规则处理具体场景”的搭配。

3. 入门NLP，建议从统计方法开始

   。很多人一上来就学BERT，结果连词袋模型、TF-IDF都不懂。但实际工作中，数据量小的场景下，朴素贝叶斯可能比BERT还好使。把基础打牢，再往上走，你会走得更稳。