Python 机器学习 XGBoost最优模型构建方法

1、数据预处理

训练XGBoost模型之前，对数据进行适当的预处理是非常重要的，它可以显著影响模型的性能和准确性。

1）处理缺失值

XGBoost能够处理缺失值，但在某些情况下，使用特定的填充策略（如中位数、均值、众数填充）可能更有利于模型性能。

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.impute import SimpleImputer

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 处理缺失值
imputer = SimpleImputer(strategy='mean')
data_imputed = imputer.fit_transform(data)

# 转换为DataFrame
data_imputed = pd.DataFrame(data_imputed, columns=data.columns)

# 特征工程
# 例如：选择特征、转换特征等

# 拆分数据集
X = data_imputed.drop('target_column', axis=1)
y = data_imputed['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建XGBoost模型
model = XGBClassifier()

# 训练模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

2）特征编码

对于分类特征，应用适当的编码方法，如独热编码（One-Hot Encoding）或标签编码（Label Encoding）。XGBoost能够处理数值类型的数据，因此需要将分类特征转换为数值型。

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
import xgboost as xgb
from sklearn.metrics import accuracy_score

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 2. 数据预处理
# 处理缺失值、异常值等
# 这里假设数据集中包含有缺失值，使用均值填充
data.fillna(data.mean(), inplace=True)

# 3. 特征编码
# 对类别型特征进行编码，将其转换为数值型
label_encoders = {}
for column in data.select_dtypes(include=['object']).columns:
    label_encoders[column] = LabelEncoder()
    data[column] = label_encoders[column].fit_transform(data[column])

# 4. 划分数据集
X = data.drop(columns=['target_column'])
y = data['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 构建XGBoost模型
model = xgb.XGBClassifier(objective='binary:logistic', random_state=42)

# 6. 训练模型
model.fit(X_train, y_train)

# 7. 模型评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

3）特征缩放

虽然XGBoost不像基于距离的模型（如SVM或KNN）那样敏感于特征的尺度，但在某些情况下，对特征进行标准化（Standardization）或归一化（Normalization）可能有助于提高性能或加快训练速度。

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import xgboost as xgb

# 生成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# X是特征数据，y是目标数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 使用XGBoost建模
model = xgb.XGBRegressor()
model.fit(X_train_scaled, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test_scaled)

print(y_pred)

4）特征选择

移除不相关或冗余的特征可以减少模型的复杂度，提高训练速度，有时还能提升模型的泛化能力。可以通过各种特征选择方法，如基于模型的特征选择、递归特征消除（RFE）等来实现。

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.feature_selection import SelectFromModel

# 生成示例数据
np.random.seed(42)
num_samples = 1000

# 创建特征数据
X = pd.DataFrame({
    'feature1': np.random.rand(num_samples),
    'feature2': np.random.rand(num_samples),
    'feature3': np.random.rand(num_samples),
    'feature4': np.random.rand(num_samples),
    'feature5': np.random.rand(num_samples)
})

# 创建目标数据（假设为二分类）
y = np.random.randint(0, 2, num_samples)

data = pd.concat([X, pd.DataFrame({'target': y})], axis=1)
# 处理缺失值
data.dropna(inplace=True)
# 特征和标签分离
X = data.drop(columns=['target'])
y = data['target']
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 2. 特征选择
# 使用XGBoost进行特征选择
xgb = XGBClassifier()
xgb.fit(X_train, y_train)
# 显示特征重要性
feature_importance = pd.DataFrame({'Feature': X_train.columns, 'Importance': xgb.feature_importances_})
print(feature_importance)
# 根据特征重要性选择重要特征
selected_features = feature_importance[feature_importance['Importance'] > 0.1]['Feature'].tolist()
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

# 3. 模型训练
# 使用选择后的特征训练模型
xgb_selected = XGBClassifier()
xgb_selected.fit(X_train_selected, y_train)
y_pred = xgb_selected.predict(X_test_selected)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

# 4. 调参
# 定义参数网格
param_grid = {
    'learning_rate': [0.1, 0.01],
    'max_depth': [3, 5, 7],
    'subsample': [0.5, 0.8, 1.0]
}
# 使用网格搜索进行调参
grid_search = GridSearchCV(estimator=XGBClassifier(), param_grid=param_grid, cv=3)
grid_search.fit(X_train_selected, y_train)
best_params = grid_search.best_params_
print("Best Parameters:", best_params)

2、 参数调优

使用XGBoost进行机器学习项目时，找到最优的模型参数是提高模型性能的关键。参数调优通常涉及到在给定的参数空间内搜索最优参数组合。XGBoost有很多可以调整的参数，包括学习率、树的最大深度、子样本比例、列采样比例等。

1）网格搜索（Grid Search）

网格搜索是一种通过遍历给定的参数网格来搜索最佳参数组合的方法。GridSearchCV是scikit-learn提供的一个实现网格搜索的工具，它会对每一种参数组合进行交叉验证，最后选择出最佳的参数组合。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
import xgboost as xgb


# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数网格
param_grid = {
    'max_depth': [3, 4, 5],
    'learning_rate': [0.1, 0.01, 0.001],
    'n_estimators': [100, 200, 300],
    'subsample': [0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置网格搜索
grid_search = GridSearchCV(estimator=xgb_clf, param_grid=param_grid, scoring='accuracy', cv=5)

# 对Iris数据集进行训练
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", grid_search.best_params_)
print("Best accuracy found: ", grid_search.best_score_)

2） 随机搜索（Random Search）

相对于网格搜索，随机搜索在参数空间中随机选择参数组合。这种方法可以在更大的参数空间内进行搜索，并且通常更快地找到不错的参数组合。RandomizedSearchCV是scikit-learn提供的实现随机搜索的工具。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import RandomizedSearchCV
import xgboost as xgb

# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数分布
param_dist = {
    'max_depth': [3, 4, 5, 6, 7],
    'learning_rate': [0.1, 0.01, 0.05],
    'n_estimators': [100, 200, 300, 400, 500],
    'subsample': [0.6, 0.7, 0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置随机搜索
random_search = RandomizedSearchCV(xgb_clf, param_distributions=param_dist, n_iter=25, scoring='accuracy', cv=5)

# 训练模型
random_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", random_search.best_params_)
print("Best accuracy found: ", random_search.best_score_)

3、交叉验证

机器学习中，交叉验证是一种评估模型泛化能力的方法，它通过将数据集分成几部分，然后使用其中一部分进行模型训练，剩余的部分用于测试，以此循环来评估模型的性能。XGBoost提供了一个方便的函数cv来进行交叉验证，帮助我们找到最优的模型参数。

import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 准备DMatrix数据
data_dmatrix = xgb.DMatrix(data=X, label=y)

# 参数设置
params = {
    'objective':'multi:softprob',  # 多分类的问题
    'num_class':3,  # 类别数，与Iris数据集的类别数相匹配
    'learning_rate': 0.1,
    'max_depth': 5,
    'alpha': 10
}

# 执行交叉验证
cv_results = xgb.cv(dtrain=data_dmatrix, params=params, nfold=3,
                    num_boost_round=50, early_stopping_rounds=10, metrics="merror", as_pandas=True, seed=123)

# 输出交叉验证结果
print(cv_results)

4、模型评估

使用一些标准的评估指标来评估模型的性能，如准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1得分（F1 Score）等。

import xgboost as xgb
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score


# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化模型（这里使用默认参数，实际使用时应根据数据调参）
model = xgb.XGBClassifier(use_label_encoder=False, eval_metric='logloss')

# 训练模型
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)

# 计算评估指标
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='macro')
recall = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')

print(f"Accuracy: {accuracy:.4f}, Precision: {precision:.4f}, Recall: {recall:.4f}, F1 Score: {f1:.4f}")
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy: %.2f%%" % (accuracy * 100.0))