用Python实战理解贝叶斯决策与特征选择的核心原理
模式识别作为人工智能领域的重要分支，其核心任务是通过算法让计算机自动识别数据中的规律和模式。对于初学者而言，理论公式往往令人望而生畏，而代码实践却能带来直观的理解。我们将从最基础的贝叶斯决策理论出发，逐步深入到特征选择的高级技巧，全程使用Python实现，让你在Jupyter Notebook中亲手构建这些算法。
1. 贝叶斯决策理论实战
贝叶斯决策是统计模式识别的基石，其核心思想是利用概率进行最优分类。让我们先从一个简单的二维数据集开始，用代码实现这一理论。
首先创建模拟数据集：
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_blobs # 生成两类高斯分布数据 X, y = make_blobs(n_samples=500, centers=2, cluster_std=1.5, random_state=42) # 可视化数据分布 plt.scatter(X[y==0, 0], X[y==0, 1], alpha=0.7, label='Class 0') plt.scatter(X[y==1, 0], X[y==1, 1], alpha=0.7, label='Class 1') plt.title('Binary Classification Dataset') plt.xlabel('Feature 1') plt.ylabel('Feature 2') plt.legend() plt.show()1.1 实现朴素贝叶斯分类器
朴素贝叶斯假设特征间相互独立，虽然简单但在许多场景下表现优异：
from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import train_test_split # 划分训练测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42) # 训练朴素贝叶斯模型 gnb = GaussianNB() gnb.fit(X_train, y_train) # 评估模型 print(f"Training accuracy: {gnb.score(X_train, y_train):.3f}") print(f"Test accuracy: {gnb.score(X_test, y_test):.3f}")提示：朴素贝叶斯虽然假设特征独立，但在特征相关性不高时仍能取得不错效果，且训练速度极快。
1.2 决策边界可视化
理解分类器的决策过程最直观的方式就是可视化其决策边界：
from matplotlib.colors import ListedColormap def plot_decision_boundary(clf, X, y, title): h = 0.02 # 网格步长 cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA']) cmap_bold = ListedColormap(['#FF0000', '#00FF00']) # 创建网格 x_min, x_max = X[:, 0].min()-1, X[:, 0].max()+1 y_min, y_max = X[:, 1].min()-1, X[:, 1].max()+1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) # 预测网格点类别 Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) # 绘制决策边界 plt.figure(figsize=(8,6)) plt.pcolormesh(xx, yy, Z, cmap=cmap_light) plt.scatter(X[:,0], X[:,1], c=y, cmap=cmap_bold, edgecolor='k', s=20) plt.xlim(xx.min(), xx.max()) plt.ylim(yy.min(), yy.max()) plt.title(title) plt.show() plot_decision_boundary(gnb, X, y, "Naive Bayes Decision Boundary")2. 特征选择的核心技术与实践
特征选择是模式识别中提升模型性能的关键步骤，它能减少过拟合、提高准确率并加速训练过程。我们将探讨三种主流方法。
2.1 过滤式特征选择
基于统计指标选择特征，独立于后续分类器：
from sklearn.feature_selection import SelectKBest, f_classif # 生成多特征数据集 X, y = make_blobs(n_samples=1000, n_features=20, centers=2, cluster_std=2.0, random_state=42) # 使用ANOVA F-value选择前10个特征 selector = SelectKBest(f_classif, k=10) X_new = selector.fit_transform(X, y) # 查看被选中的特征 selected_features = selector.get_support(indices=True) print(f"Selected features: {selected_features}")2.2 包裹式特征选择
使用模型性能作为评价标准，选择最优特征子集：
from sklearn.feature_selection import RFE from sklearn.ensemble import RandomForestClassifier # 使用随机森林进行递归特征消除 estimator = RandomForestClassifier(n_estimators=50, random_state=42) selector = RFE(estimator, n_features_to_select=5, step=1) selector = selector.fit(X, y) # 输出特征排名 print("Feature ranking:", selector.ranking_)2.3 嵌入式特征选择
模型训练过程中自动进行特征选择：
from sklearn.linear_model import LassoCV # 使用Lasso回归进行特征选择 lasso = LassoCV(cv=5, random_state=42).fit(X, y) # 查看特征重要性 importance = np.abs(lasso.coef_) feature_names = [f'Feature {i}' for i in range(X.shape[1])] sorted_idx = np.argsort(importance)[::-1] # 打印最重要的5个特征 print("Top 5 important features:") for idx in sorted_idx[:5]: print(f"{feature_names[idx]}: {importance[idx]:.3f}")3. 高级主题：贝叶斯优化与超参数调优
传统网格搜索效率低下，贝叶斯优化能更智能地寻找最优超参数组合。
3.1 实现贝叶斯超参数优化
from skopt import BayesSearchCV from sklearn.svm import SVC # 定义搜索空间 search_space = { 'C': (1e-6, 1e+6, 'log-uniform'), 'gamma': (1e-6, 1e+1, 'log-uniform'), 'kernel': ['linear', 'rbf'] } # 创建贝叶斯优化器 opt = BayesSearchCV( SVC(), search_space, n_iter=32, cv=5, random_state=42 ) # 执行优化 opt.fit(X_train, y_train) # 输出最佳参数 print("Best parameters found:", opt.best_params_) print("Best cross-validation score: {:.3f}".format(opt.best_score_))3.2 优化过程可视化
理解贝叶斯优化如何逐步逼近最优解：
from skopt.plots import plot_convergence plot_convergence(opt.optimizer_results_[0]) plt.show()4. 实战项目：手写数字识别完整流程
将所学知识应用于经典MNIST数据集，完成从特征选择到模型优化的全流程。
4.1 数据准备与探索
from sklearn.datasets import load_digits digits = load_digits() X, y = digits.data, digits.target # 可视化部分样本 fig, axes = plt.subplots(4, 10, figsize=(10, 4)) for i, ax in enumerate(axes.ravel()): ax.imshow(X[i].reshape(8, 8), cmap='gray') ax.axis('off') plt.tight_layout() plt.show()4.2 特征选择与降维
结合PCA进行特征提取：
from sklearn.decomposition import PCA # 保留95%的方差 pca = PCA(n_components=0.95, whiten=True) X_pca = pca.fit_transform(X) print(f"Original shape: {X.shape}") print(f"Reduced shape: {X_pca.shape}") print(f"Explained variance ratio: {pca.explained_variance_ratio_.sum():.3f}")4.3 构建完整分类流程
from sklearn.pipeline import Pipeline from sklearn.model_selection import cross_val_score # 创建包含特征选择和分类的流水线 pipeline = Pipeline([ ('pca', PCA(n_components=0.95)), ('clf', GaussianNB()) ]) # 交叉验证评估 scores = cross_val_score(pipeline, X, y, cv=5) print(f"Mean accuracy: {scores.mean():.3f} (±{scores.std():.3f})")在实际项目中，我发现特征选择与贝叶斯决策的结合能显著提升模型性能，特别是在特征维度较高而样本量有限的场景下。通过合理选择特征子集，不仅能减少计算开销，还能提高模型的泛化能力。
