Python 机器学习 决策树算法

1、理解决策树

决策树是一种常用的机器学习算法，既可以用于分类问题也可以用于回归问题。它通过从数据中学习决策规则来预测目标变量。决策树的核心思想是基于数据特征的决策规则将数据集分割成越来越小的子集，直至每个子集足够"纯"，即子集中的数据大部分属于同一类别。在这个过程中，每个内部节点代表一个决策规则，每个分支代表决策规则的输出，每个叶节点代表一个预测结果。

决策树可以通过逻辑图形很容易地展示和理解，不需要统计知识即可解释模型的预测结果。能够处理数值型和类别型的特征。能够处理多输出的分类问题。

2、scikit-learn

scikit-learn 是 Python 中一个强大的机器学习库，它提供了各种常用机器学习算法的简单易用的实现。使用 scikit-learn，可以快速进行数据预处理、模型训练、评估和预测，从而进行有效的机器学习分析。决策树是一种常用的机器学习算法，适用于分类和回归任务。它通过学习从数据特征到输出标签的决策规则来建模。在Python中，可以使用scikit-learn库中的DecisionTreeClassifier或DecisionTreeRegressor类来实现决策树模型。

1）安装命令

pip install scikit-learn

2）导入所需模块

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
from sklearn import tree

3、数据集

乳腺癌数据集包含了569个样本，每个样本有30个特征。这些特征是从数字化图像中计算出来的，用于描述图像中的细胞核的特点，目标是预测肿瘤是良性还是恶性。Python 的 scikit-learn 库中，可以直接加载并使用这个数据集。通常用于二分类问题，它包含了乳腺癌肿瘤的特征和肿瘤是良性还是恶性的标签。

乳腺癌数据集的特征：

使用 scikit-learn 加载乳腺癌数据集代码如下，

from sklearn.datasets import load_breast_cancer

# 加载乳腺癌数据集
data = load_breast_cancer()

# 输出数据集的描述
print(data.DESCR)

# 获取特征和目标变量
X, y = data.data, data.target

# 输出特征名称和标签名称
print("Feature names:", data.feature_names)
print("Target names:", data.target_names)

# 输出数据集的形状
print("Shape of X (features):", X.shape)
print("Shape of y (target):", y.shape)

4、划分数据集

使用train_test_split函数将数据集划分为训练集和测试集，train_test_split函数是Scikit-Learn库中一个非常重要的工具。常用参数如下，

使用代码：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载乳腺癌数据集
data = load_breast_cancer()
X = data.data
y = data.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 输出分割结果
print("训练集样本数量:", X_train.shape[0])
print("测试集样本数量:", X_test.shape[0])
print("训练集中每类的样本比例:", [sum(y_train == i) for i in range(len(data.target_names))])
print("测试集中每类的样本比例:", [sum(y_test == i) for i in range(len(data.target_names))])

5、训练决策树模型

Python中使用scikit-learn库训练逻辑回归模型是一种常见的机器学习任务。DecisionTreeClassifier是Scikit-learn库中用于分类任务的决策树模型。它非常灵活和强大，可以通过调整不同的参数来优化模型的性能和防止过拟合。常用参数如下，

使用代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score


# 加载乳腺癌数据集
data = load_breast_cancer()
X, y = data.data, data.target


# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建决策树模型实例
# 我们将使用一些自定义参数，但你可以根据需要调整它们
clf = DecisionTreeClassifier(
    criterion='gini',     # 使用基尼不纯度作为分割质量的衡量标准
    splitter='best',      # 选择最佳分割
    max_depth=None,       # 不限制树的最大深度
    min_samples_split=2,  # 分割内部节点所需的最小样本数
    min_samples_leaf=1,   # 在叶节点处需要的最小样本数
    max_features=None,    # 考虑所有特征
    random_state=42,      # 设置随机状态以复现结果
    max_leaf_nodes=None,  # 不限制最大叶节点数
    min_impurity_decrease=0.0, # 不考虑不纯度减少的最小值
    class_weight=None     # 不使用类别权重
)

# 训练模型
clf.fit(X_train, y_train)

# 预测测试集
y_pred = clf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

# 还可以使用其他评估指标，如混淆矩阵、精确度、召回率等，来进一步评估模型性能。

DecisionTreeRegressor是Scikit-learn库中用于回归任务的决策树模型。它通过学习数据中的决策规则来预测连续值的输出。常用参数如下，

使用代码：

from sklearn.datasets import load_diabetes
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error

# 加载糖尿病数据集
X, y = load_diabetes(return_X_y=True)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化决策树回归模型
# 这里我们使用一些自定义参数，例如最大深度和最小样本分裂
decision_tree_regressor = DecisionTreeRegressor(max_depth=4, min_samples_split=20, random_state=42)

# 训练模型
decision_tree_regressor.fit(X_train, y_train)

# 预测测试集
y_pred = decision_tree_regressor.predict(X_test)

# 计算模型性能
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

# 可选：输出决策树的深度和叶节点数
print(f"Model Depth: {decision_tree_regressor.get_depth()}")
print(f"Number of Leaves: {decision_tree_regressor.get_n_leaves()}")