sklearn函数总结十 —— 决策树

纯手打，代码整理中，持续更新中^-^

序号延用总结九

目录

17、决策树

17.1 决策树的结构

17.2 决策树的工作原理

17.3 数学公式：信息增益与基尼系数

1，信息增益（Information Gain）

2，基尼系数（Gini Impurity）

17.4 具体示例

任务说明

1. 计算数据集的熵

2. 计算信息增益

17.5 鸢尾花数据集的代码示例

17.6 详细参数说明

17.7决策树可视化

17、决策树

决策树（Decision Tree）是一种常见的监督学习算法，用于分类和回归任务。在分类任务中，决策树通

过一系列的“决策”来判断一个样本属于哪个类别。其工作原理就像一棵树，树的每个节点表示一个“决

策”，树的叶子节点则代表最终的类别标签。

决策树的目标是通过分裂数据来尽可能纯净地划分不同的类别。

17.1决策树的结构

决策树由根节点、分支节点和叶子节点组成：

1.根节点：表示整个数据集，包含所有样本。

2.分支节点：表示特征的决策（如：是/否，真/假等）。

3.叶子节点：表示最终的类别或预测值。

17.2决策树的工作原理

决策树通过逐层分裂数据，每次选择最能“区分”不同类别的特征来进行分割。它会依据某些准则（如信

息增益、基尼系数等）选择最佳的分割特征。

1.选择最优特征：每次选择一个特征进行划分，目标是使得每一小组的类别尽可能单一（纯度高）。

2.递归分裂：对每个子集递归地进行上述操作，直到满足停止条件（如树的深度限制、最小样本数限

制等）。

3.生成树结构：最终，树的每个叶子节点代表一个类别。

17.3 数学公式：信息增益与基尼系数

1，信息增益（Information Gain）

2，基尼系数（Gini Impurity）

决策树的分裂过程（以信息增益为例）

假设我们有一个包含两个特征 A 和 B 的数据集，目标是根据这两个特征预测目标类别 C。

1.计算数据集的熵： 首先计算整个数据集的熵（即目标类别的不确定性）。

2.计算每个特征的条件熵： 对于每个特征（如 A 和 B），计算将数据集按特征值划分后的子集的

熵，并加权计算出该特征的条件熵。

3.计算信息增益： 信息增益是原始数据集的熵减去条件熵。选择信息增益最大的特征进行划分。

4.递归分裂： 对分裂后的每个子集重复上述步骤，直到所有子集的类别纯度足够高（或达到预设的

停止条件）。

17.4 具体示例

假设我们有以下数据集：

任务说明

我们要预测 “是否能打球”（目标变量）。

决策树算法会依次考察每个特征（天气、温度、湿度、风速）的信息增益，选择信息增益最大的特征进行分裂。

1. 计算数据集的熵

假设类别“是否打球”的分布为：3 个“是”，4 个“否”。

熵公式如下：

计算结果为：0.98

注：该值为数据集的总不确定性，越接近 1 表示越不确定。

2. 计算信息增益

假设我们选择“天气”作为第一个特征进行划分。

天气有三个取值：晴、阴、雨，分别对应不同的子集。

我们需要：

1. 计算每个子集的熵；

2. 对其加权求和（权重为子集大小占总数的比例）；

3. 用原熵减去加权熵，得到“天气”特征的信息增益。

然后，选择信息增益最大的特征进行分裂，如此递归下去。

17.5 鸢尾花数据集的代码示例

from sklearn.datasets import load_iris from sklearn.metrics import accuracy_score, classification_report from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier # 1, 加载数据 iris = load_iris() x = iris.data # 特征矩阵（150个样本，4个特征：萼长、萼宽、瓣长、瓣宽） y = iris.target # 特征值 目标向量（3类鸢尾花：0, 1, 2） # 2, 数据预处理 X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2) # 划分训练集和测试集 # 3, 创建和训练KNN模型 dtc = DecisionTreeClassifier() # 创建决策树分类器 dtc.fit(X_train, y_train) # 训练模型 # 4, 进行预测并评估模型 y_pred = dtc.predict(X_test) # 在测试集上进行预测 print('决策树预测值: ', y_pred) print('正确值 : ', y_test) accuracy = accuracy_score(y_test, y_pred) # 计算准确率 print(f'测试集准确率: {accuracy:.2f}') print('分类报告: \n', classification_report(y_test, y_pred, target_names=iris.target_names))

运行结果：

17.6 详细参数说明

DecisionTreeClassifier 是 scikit-learn 中用于分类任务的决策树模型，它的构造方法

（init）有多个参数，可以通过这些参数来控制决策树的训练过程和模型复杂度。

DecisionTreeClassifier 构造方法的参数详解：

class sklearn.tree.DecisionTreeClassifier( criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, class_weight=None, ccp_alpha=0.0, splitter='best' )

1.criterion 决定用于选择分裂的质量衡量标准 默认值为 gini 基尼系数，可选 entropy 信息增益

2.splitter 控制每个节点如何选择用于分裂的特征，可选best或者random

3.max_depth 决策树的最大深度，避免模型过拟合，大深度可能是过拟合。

4.min_sample_split(默认值2)防止树的过度生长，如果一个节点的样本数小于该值，就不再继续分裂

5.min_samples_leaf （默认值：1 ）可以控制树的复杂度。较大的值会使得叶子节点包含更多样本，有助于防止过拟合。

6.min_weight_fraction_leaf （默认值： 0.0 ）可以防止训练数据集中某些特定样本的过度影响。一般在样本权重不均时使用。

其他略不太重要。。。

17.7决策树可视化

结合matplotlib实现决策树可视化，这样更直观，方便直观的看到具体算法数据。

先安装下matplotlib库以及jupyter库：

pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

新建DecisionTreeClassifierTest.ipynb文件。

from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier # 1, 加载数据 iris = load_iris() x = iris.data # 特征矩阵（150个样本，4个特征：萼长、萼宽、瓣长、瓣宽） y = iris.target # 特征值 目标向量（3类鸢尾花：0, 1, 2） # 2, 数据预处理 X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2) # 划分训练集和测试集 # 3, 创建和训练KNN模型 dtc = DecisionTreeClassifier() # 创建决策树分类器 dtc.fit(X_train, y_train) # 训练模型 import matplotlib from sklearn.tree import plot_tree from matplotlib import pyplot as plt # 设置matplotlib使用黑体显示中文 matplotlib.rcParams['font.family'] = 'Microsoft YaHei' # 可视化决策树 plt.figure(figsize=(12, 8)) plot_tree( dtc, filled=True, feature_names=iris.feature_names, class_names=iris.target_names, rounded=True ) plt.title("决策树可视化") plt.show()

运行结果