8.6 贝叶斯分类器：朴素贝叶斯与高斯过程分类

8.6 贝叶斯分类器：朴素贝叶斯与高斯过程分类

贝叶斯分类器是一类基于贝叶斯定理与统计决策理论的分类方法。其核心思想是为每个可能的类别构建一个概率模型，描述在该类别下观测到特定数据的可能性，并结合类别的先验概率，通过贝叶斯定理计算样本属于各类别的后验概率，最终将样本分配给后验概率最大的类别。本节将深入阐述两种具有代表性的贝叶斯分类器：基于强条件独立性假设、高效简单的朴素贝叶斯分类器，以及基于非参数贝叶斯推断、能够提供预测不确定性的高斯过程分类器。

8.6.1 贝叶斯决策理论与分类框架

给定一个特征向量x∈Rd\mathbf{x} \in \mathbb{R}^dx∈Rd和类别标签y∈{ C1,C2,...,CK}y \in \{C_1, C_2, ..., C_K\}y∈{C1​,C2​,...,CK​}，贝叶斯分类器的目标是找到能使期望风险最小化的决策。在0-1损失函数下，这等价于选择具有最大后验概率的类别。根据贝叶斯定理，后验概率为：
P(y=Ck∣x)=P(x∣y=Ck)P(y=Ck)P(x)∝P(x∣y=Ck)P(y=Ck) P(y=C_k | \mathbf{x}) = \frac{P(\mathbf{x} | y=C_k) P(y=C_k)}{P(\mathbf{x})} \propto P(\mathbf{x} | y=C_k) P(y=C_k)P(y=Ck​∣x)=P(x)P(x∣y=Ck​)P(y=Ck​)​∝P(x∣y=Ck​)P(y=Ck​)
其中：

• P(y=Ck)P(y=C_k)P(y=Ck​)是类别CkC_kCk​的先验概率，可以通过训练集中各类别样本的频率估计。
• P(x∣y=Ck)P(\mathbf{x} | y=C_k)P(x∣y=Ck​)是类条件概率密度（或称似然），即在类别CkC_kCk​下观测到特征x\mathbf{x}x的概率。这是构建贝叶斯分类器的关键和难点，因为需要对高维特征空间进行密度估计。
• P(x)P(\mathbf{x})P(x)是证据因子，对所有类别相同，在比较时无需计算。

因此，贝叶斯最优分类器为：
y^=arg⁡max⁡CkP(y=Ck∣x)=arg⁡max⁡CkP(x∣y=Ck)P(y=Ck) \hat{y} = \arg\max_{C_k} P(y=C_k | \mathbf{x}) = \arg\max_{C_k} P(\mathbf{x} | y=C_k) P(y=C_k)y^​=argCk​max​P(y=Ck​∣x)=argCk​max​P(x∣y=Ck​)P(y=Ck​)
不同的贝叶斯分类器主要区别在于如何对类条件概率P(x∣y=Ck)P(\mathbf{x} | y=C_k)P(x∣y=Ck​)进行建模与估计。

8.6.2 朴素贝叶斯分类器

朴素贝叶斯分类器通过引入一个极强的简化假设来规避高维密度估计的难题：假设在给定类别yyy的条件下，所有特征x1,x2,...,xdx_1, x_2, ..., x_dx1​,x