Embedding模型深度解析：从词向量到语义空间的完整指南

本文深入剖析Embedding（嵌入）模型的核心原理，从最基础的词向量概念出发，详细讲解向量空间中的语义关系、相似度计算、训练方法，以及在搜索、推荐、RAG等场景中的实际应用。

一、什么是Embedding？

1.1 从One-Hot到Embedding

问题：计算机如何理解"猫"和"狗"的关系？ 传统方法：One-Hot编码 假设词表有5个词：[猫, 狗, 鱼, 苹果, 香蕉] 猫 = [1, 0, 0, 0, 0] 狗 = [0, 1, 0, 0, 0] 鱼 = [0, 0, 1, 0, 0] 苹果 = [0, 0, 0, 1, 0] 香蕉 = [0, 0, 0, 0, 1] 问题： ┌─────────────────────────────────────────────────────────────────┐ │ │ │ 1. 维度灾难：词表10万个词 → 10万维向量 │ │ │ │ 2. 语义缺失： │ │ • "猫"和"狗"的距离 = √2