1. 词汇语义变化检测的挑战与现状
词汇语义变化检测（Lexical Semantic Change Detection, LSCD）是计算语言学中一个既古老又年轻的研究方向。说它古老，是因为语言学家们几个世纪以来一直在研究词义如何随时间演变；说它年轻，是因为直到最近十年，随着自然语言处理技术的突破，我们才真正开始建立自动化的量化分析方法。
1.1 传统方法的局限性
当前主流的LSCD方法主要依赖两类指标：
- 平均成对距离（APD）：计算跨时期所有词用对之间的距离均值
- 原型距离（PRT）：比较两个时期词用向量的质心距离
这两种方法本质上都是"全局聚合"的思路，就像用卫星地图观察城市变迁——能看到整体轮廓的变化，但会忽略街区的细微改造。在实际语言演变中，很多重要变化恰恰发生在局部：
- 新义项的出现（如"病毒"从医学概念到网络传播概念）
- 旧义项的消失（如"电报"作为通讯方式的含义）
- 部分义项的变化（如"粉丝"从食品到崇拜者的部分含义转移）
1.2 上下文嵌入带来的机遇
预训练语言模型的兴起为LSCD带来了新可能。与静态词向量不同，上下文嵌入（contextualized embeddings）能够：
- 捕捉一词多义现象（如"苹果"在不同语境指水果或公司）
- 反映语法功能变化（如"谷歌"从名词到动词的用法扩展）
- 保留更丰富的分布信息（包括使用频率、搭配模式等）
然而，现有的评估指标未能充分利用这些优势。就像用体温计量血压，工具升级了但测量方式还停留在过去。这正是我们提出新指标的出发点。
2. AMD与SAMD的核心设计
2.1 平均最小距离（AMD）算法原理
AMD的核心思想很简单：好的语义保持应该让每个历史词用都能在当代找到"近亲"。具体实现分为三个步骤：
最近邻匹配：对于早期语料中的每个词用u₁，找到晚期语料中距离最近的u₂
def nndist(u, corpus): return min(cosine_distance(u, v) for v in corpus)双向计算：分别计算C1→C2和C2→C1两个方向的平均最小距离
AMD_forward = avg(nndist(u, C2) for u in C1) AMD_backward = avg(nndist(u, C1) for u in C2)对称整合：取两个方向的平均值作为最终得分
AMD = (AMD_forward + AMD_backward) / 2
这种设计带来几个独特优势：
- 方向敏感性：可以区分语义扩展（AMD_forward > AMD_backward）和语义收缩
- 局部聚焦：对少数异常词用更敏感，能捕捉新兴义项
- 几何鲁棒：不受整体分布偏移的干扰
2.2 对称平均最小距离（SAMD）的改进
AMD存在一个潜在问题：当语料中存在"枢纽点"（hub）时，多个词用可能都匹配到同一个最近邻，掩盖真实变化。SAMD通过强制一对一匹配解决这个问题：
- 构建距离矩阵：计算所有跨时期词用对的余弦距离
- 贪心匹配：迭代选择最小距离对，然后移除已匹配的词用
- 平均匹配距离：计算所有匹配对的平均距离
def SAMD(C1, C2): pairs = greedy_matching(build_distance_matrix(C1, C2)) return sum(d for (_,_,d) in pairs) / len(pairs)2.3 与现有指标的直观对比
通过一个简单例子说明差异。假设：
- 早期语料：5个词用都集中在义项A
- 晚期语料：3个保持义项A，2个发展出义项B
三种指标的表现：
| 指标 | 计算方式 | 敏感度 |
|---|---|---|
| APD | 所有跨对平均距离 | 受主流义项支配 |
| PRT | 质心间距离 | 完全忽略新义项 |
| AMD | 最近邻平均距离 | 能捕捉异常点 |
| SAMD | 最优匹配距离 | 明确分离新旧义项 |
3. 多语言实验验证
我们在7种语言（英语、德语、瑞典语、拉丁语、西班牙语、挪威语、汉语）上进行了系统评测，使用包括XL-LEXEME、XLM-RoBERTa等12种编码器。
3.1 主要实验结果
在标准评测设置下（原始768维嵌入空间），各指标Spearman相关系数对比：
| 指标 | 平均性能 | 最佳场景 | 最差场景 |
|---|---|---|---|
| APD | 0.635 | 专用编码器 | 降维空间 |
| PRT | 0.643 | 单语模型 | 多语言模型 |
| AMD | 0.682 | 定义空间 | 随机降维 |
| SAMD | 0.694 | PCA降维 | 原始空间 |
关键发现：
- 专用vs通用编码器：SAMD在专用编码器上优势达8.2%，AMD在通用编码器上更稳健
- 语言特性差异：汉语等分析语中AMD表现更优，屈折语中SAMD更好
- 领域适应性：历史文本分析中AMD优势明显，现代文本SAMD更佳
3.2 降维场景下的鲁棒性
通过PCA逐步降低维度时的性能保持率：
| 维度 | APD | PRT | AMD | SAMD |
|---|---|---|---|---|
| 768 | 100% | 100% | 100% | 100% |
| 256 | 82% | 45% | 97% | 99% |
| 64 | 61% | 12% | 89% | 93% |
| 16 | 33% | 3% | 75% | 82% |
AMD/SAMD在低维空间仍保持实用性能，这对以下场景尤为重要：
- 移动端应用的内存限制
- 历史语言的低资源场景
- 需要可视化分析的2D/3D投影
3.3 定义空间的特殊价值
我们创新性地将词用投影到由LLM生成的释义空间（每个维度对应一个释义的相似度）。在这个可解释空间中：
AMD性能提升14.6%，因为：
- 释义维度直接对应语义特征
- 最近邻匹配具有明确的语义解释
- 可以追溯具体发生变化的义项
典型分析案例：英语单词"mouse"
- 1960s语料：所有词用最近邻都是"啮齿动物"释义
- 2000s语料：83%匹配到"计算机设备"释义
- AMD得分变化：0.15→0.47（显著变化）
- APD得分变化：0.22→0.29（不够敏感）
4. 实践应用指南
4.1 如何选择合适指标
根据应用场景的推荐选择：
| 场景特征 | 推荐指标 | 原因 |
|---|---|---|
| 专用编码器 | SAMD | 能利用高质量嵌入空间 |
| 通用/多语言模型 | AMD | 对噪声更鲁棒 |
| 需要解释性 | AMD+定义 | 可追溯具体义项变化 |
| 低维表示 | SAMD | 保持一对一对应关系 |
| 非对称变化分析 | AMD | 支持方向性分解 |
| 实时处理 | PRT | 计算效率最高 |
4.2 参数优化建议
上下文窗口大小：
- 历史文本建议5-7（句法变化大）
- 现代文本建议3-5（依赖局部语境）
降维方法选择：
from sklearn.decomposition import PCA # 定义空间投影 def project_to_definition(v, definitions): return [cosine_similarity(v, d) for d in definitions] # PCA降维 pca = PCA(n_components=64) embeddings_reduced = pca.fit_transform(embeddings)阈值设定原则：
- 基于历史分位数：取同期词汇得分的top 20%
- 基于绝对变化：AMD差值 > 0.3视为显著
- 建议结合人工验证调整
4.3 常见问题排查
得分异常高：
- 检查语料质量（是否存在OCR错误）
- 验证编码器是否支持目标语言
- 尝试增大上下文窗口
得分异常低：
- 检查词用采样是否充分（每时期建议≥50例）
- 验证时间跨度是否足够（建议≥20年）
- 尝试不同的相似度度量（如欧氏距离）
多义词区分不足：
- 增加定义空间维度（建议5-10个释义）
- 尝试sense-aware编码器（如XL-LEXEME）
- 结合聚类预处理（K-means+Elbow法）
5. 前沿发展方向
5.1 多模态语义变化
将AMD扩展到：
- 图像-文本对齐（视觉词义变化）
- 语音特征融合（发音与语义的共变）
- 符号学多模态表示
5.2 动态轨迹建模
当前局限：只比较两个时间点 改进方向：
- 连续时间建模（高斯过程回归）
- 变化拐点检测（基于二阶导数）
- 传播路径分析（网络科学方法）
5.3 认知验证框架
建立：
- 心理语言学实验验证（反应时测量）
- 跨模态一致性评估
- 神经影像学关联分析
在实际研究中，我们发现AMD特别适合追踪技术术语的语义演化。例如在分析"cloud"一词时，传统方法直到2005年后才检测到变化，而AMD在1998年就捕捉到早期技术用法，这与已知的云计算发展史高度吻合。这种敏感性使得AMD成为历史语言学研究的理想工具。
