相似度匹配算法：余弦距离与内积的深度辨析
在构建现代AI系统时，我们常常面对这样一个问题：两个句子是否语义相近？一张图片和一段文字是否描述同一内容？这些问题的背后，其实都归结为一个数学操作——向量相似度计算。随着大模型（LLM）和多模态系统的普及，Embedding 技术已成为连接语言、图像、语音等模态的核心桥梁，而决定其效果的关键之一，正是如何选择合适的相似度度量方式。
当前最主流的两种方法是余弦距离与内积。它们看似不同，实则紧密关联；一个强调方向一致性，另一个追求计算效率。但在实际工程中，若不加区分地混用，轻则导致检索结果偏差，重则影响整个推荐或搜索系统的稳定性。尤其在基于 ms-swift 这类一体化框架进行模型训练与部署时，理解两者的本质差异和协同机制，远不只是理论探讨，而是直接影响性能与准确性的关键决策。
我们先从一个常见的场景说起：你正在开发一个智能客服系统，用户输入“怎么重置密码”，系统需要从知识库中找出最相关的答案。背后流程通常是这样的：
- 将所有 FAQ 文本编码成向量，存入向量数据库；
- 用户提问也被编码为查询向量；
- 系统在数据库中查找与该向量最“相似”的条目；
- 返回 top-k 结果并生成回复。
这里的关键就在于第3步——什么叫“相似”？
如果使用欧氏距离，它衡量的是两点之间的直线距离，对绝对位置敏感，容易受向量长度干扰；而在高维语义空间中，真正重要的是“方向”。两个句子可能长短不一、用词不同，但只要表达的意思接近，它们的嵌入向量就应该指向相似的方向。这正是余弦相似度的用武之地。
它的公式很简单：
$$
\text{Cosine Similarity} = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|}
$$
这个值落在 $[-1, 1]$ 区间内，越接近1表示方向越一致。而所谓的“余弦距离”，通常是指 $1 - \text{Cosine Similarity}$，取值范围为 $[0, 2]$，越小越好。
值得注意的是，这一公式本质上是对向量做了L2归一化后的内积。也就是说，如果你先把 $\mathbf{A}$ 和 $\mathbf{B}$ 都除以各自的模长，变成单位向量，那么它们的内积就等于余弦相似度。
这也引出了一个重要结论：当且仅当所有向量都被L2归一化后，最大内积搜索（MIPS）才等价于最近邻余弦距离搜索。
这一点看似简单，却在实践中频频被忽视。比如原始 BERT 模型输出的句向量，其模长往往与句子长度高度相关——长句、高频词多的句子，向量模长更大。如果不做归一化直接用内积检索，这些“体型庞大”的向量会天然占据优势，哪怕语义并不匹配，也可能被优先召回。这就是典型的模长干扰问题。
因此，在语义检索任务中，尤其是使用 Sentence-BERT 类模型时，业界普遍采用Cosine Embedding Loss作为训练目标，强制模型学习出方向一致的表示，并在推理前统一做 L2 归一化处理。ms-swift 框架在其 Embedding 模型导出流程中也默认支持归一化选项，便于后续部署到 FAISS、Milvus 等向量数据库。
import numpy as np from sklearn.metrics.pairwise import cosine_similarity vec_a = np.array([0.8, 0.6, 0.1]) vec_b = np.array([0.7, 0.5, 0.3]) # 计算余弦相似度 similarity = cosine_similarity([vec_a], [vec_b])[0][0] distance = 1 - similarity print(f"余弦相似度: {similarity:.4f}") # 输出: 0.9678 print(f"余弦距离: {distance:.4f}")这段代码虽短，却是评估 Embedding 质量的基础工具。在模型评测阶段，我们常通过计算同义句对的平均余弦相似度来判断其语义捕捉能力。EvalScope 等平台也正是以此类指标为核心，提供客观、可比的模型打分。
但当我们把视角转向大模型内部，情况又有所不同。
在 Transformer 架构中，自注意力机制的核心是 Query 与 Key 的匹配，其计算方式正是内积：
$$
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
$$
这里的 $ QK^T $ 是标准的矩阵内积运算。为什么不用余弦？因为效率。
内积不需要预先归一化，可以直接利用 GPU 上高度优化的 GEMM（通用矩阵乘法）内核加速。无论是 vLLM、LmDeploy 还是 SGLang，都在底层依赖 CUDA Core 或 Tensor Core 对这一操作进行极致优化。特别是在批量推理场景下，一次 batched matrix multiplication 可同时完成数百个序列的注意力打分，延迟控制在毫秒级。
更进一步，FlashAttention、PagedAttention 等技术正是通过对内积计算的访存模式重构，显著降低显存占用并提升吞吐量。TensorRT-LLM 甚至将量化后的 Key 向量压缩存储，配合 INT8 内积加速，在保持精度的同时实现数倍性能提升。
import torch Q = torch.randn(8, 64, 128) # Batch=8, SeqLen=64, Dim=128 K = torch.randn(8, 64, 128) scores = torch.bmm(Q, K.transpose(1, 2)) # 批量内积，形状 (8, 64, 64) attention_weights = torch.softmax(scores / 128**0.5, dim=-1) print("注意力权重形状:", attention_weights.shape)这段代码模拟了 Transformer 中的实际计算流。可以看到，torch.bmm实现了高效的批量内积，是支撑大模型高速推理的基石。在这种上下文中，内积不仅合理，而且必要——它编码的不仅是方向，还有“强度”信息。例如，一个高置信度的关键词，其对应的 Key 向量模长较大，会产生更强的注意力响应，从而帮助模型聚焦重点。
这也解释了为何在 DPO、SimPO 等人类偏好对齐训练中，奖励模型（Reward Model）常以内积形式建模输出：$r = q \cdot k$，其中 $q$ 表示偏好方向，$k$ 是候选响应的表示。这种方式既能捕捉语义相关性，又能保留信号强度差异。
于是我们可以看到一个清晰的分工图谱：
- 在语义检索层（如 RAG 中的向量召回），我们更关注“方向正确”，应优先使用余弦相似度或归一化后的内积；
- 在模型推理层（如 Attention 计算），我们追求“高效+表达力”，原始内积更具优势；
- 在训练目标设计中，可根据任务需求灵活选择：希望强化方向一致性时用 Cosine Loss，希望保留幅度信息时保留原始内积结构。
这种分层思维，在 ms-swift 这样的全栈框架中体现得尤为明显。开发者可以在同一套工具链下完成：
- 使用带 Cosine Loss 的 Sentence-BERT 模型训练高质量 Embedding；
- 导出时自动启用 L2 归一化，适配向量数据库检索；
- 部署至 LmDeploy 或 vLLM 引擎，享受内积带来的硬件加速红利；
- 最终通过 EvalScope 平台，以标准化的余弦指标完成跨模型横向评测。
整个流程无缝衔接，既保证了语义准确性，又兼顾了系统性能。
当然，现实中的挑战不会自动消失。比如大规模检索中仍面临性能瓶颈，怎么办？
一种成熟方案是结合量化 + 归一化 + MIPS 加速。具体来说：
- 在 Embedding 模型输出端进行 L2 归一化，确保方向一致性；
- 对 Key 向量应用 GPTQ 或 AWQ 量化，压缩至 4bit 或 8bit；
- 利用 LmDeploy 支持的 INT8 内积指令集，在 GPU 上实现超高速近似最近邻搜索；
- 在召回后的小范围内再做精细重排序（re-ranking），使用更复杂的交叉编码器（Cross-Encoder）提升精度。
这套组合拳已在多个工业级推荐与搜索系统中验证有效。归一化解决了语义漂移问题，量化缓解了内存压力，而内积则始终作为底层加速的“发动机”。
反过来，若忽略归一化前提，盲目追求速度，则可能导致严重后果。曾有团队在未归一化的向量库上直接运行 MIPS，结果发现某些冗长、重复的文本因模长大而频繁被召回，严重影响用户体验。排查良久才发现问题根源并非索引结构，而是相似度定义本身存在偏差。
这也提醒我们：技术选型不能只看文档宣称的“支持 MIPS”，更要深入理解其成立条件。正如那句老话：“没有免费的午餐”——内积的高效是有代价的，那就是必须控制好输入向量的分布特性。
| 维度 | 建议 |
|---|---|
| 是否归一化 | 语义检索务必归一化；通用 LLM 内部可保留原始模长 |
| 性能要求 | 高并发场景优先选用归一化 + MIPS 方案 |
| 模型类型 | Embedding 模型建议输出单位向量；Decoder-only 模型可用原生内积 |
| 评测标准 | 应明确使用余弦相似度作为评估基准 |
| 工具链支持 | ms-swift 提供归一化、量化、加速检索的一体化支持 |
最终你会发现，余弦距离与内积并非对立，而是同一枚硬币的两面。前者代表了对语义一致性的执着追求，后者体现了对计算效率的极致优化。真正的高手，不是非此即彼地选择，而是在恰当的层次上运用恰当的方法。
当我们在 ms-swift 上训练一个 Embedding 模型时，可以用余弦损失打磨语义表达；当我们将它部署进 LmDeploy 推理引擎时，又能借助内积发挥硬件极限性能。这种“训练讲语义，推理讲效率”的分层设计理念，正是现代 AI 系统工程化的缩影。
站在巨人的肩膀上，我们不仅要走得远，更要跑得快——而理解余弦与内积之间的微妙平衡，就是迈出的第一步。
