Python 机器学习 SVM算法

1、理解SVM算法

支持向量机（SVM）是一种广泛应用于分类和回归任务的监督学习算法。它通过最大间隔原则来寻找最优决策边界，这意味着算法旨在找到一条线（在高维空间中是一个超平面），最大化地分开不同类别的数据点。决策边界的确定依赖于距离边界最近的那些数据点，被称为支持向量，这些点的特性决定了边界的方向和位置。在处理线性不可分的数据集时，SVM采用核技巧通过映射将原始数据投影到更高维的空间，以便找到一个合适的线性决策边界。算法背后的数学原理涉及到使用拉格朗日乘子法最小化一个目标函数，同时满足一系列约束条件，以确定最佳的权重向量和偏差项。SVM以其在小数据集和高维数据处理中的出色性能而闻名，能够通过选择合适的核函数来有效处理各种线性不可分的情况，使其成为机器学习领域中一个非常受欢迎的工具。

2、scikit-learn

支持向量机（SVM）是一种广泛应用于分类、回归和其他预测任务的强大机器学习算法。Python中，Scikit-learn是一个流行的机器学习库，它提供了易于使用的SVM实现。

1）安装命令

pip install scikit-learn

2）导入所需模块

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn import svm
from sklearn.metrics import accuracy_score

3、数据集

乳腺癌数据集（Breast Cancer Wisconsin dataset）是一个常用于机器学习的公开数据集，主要用于分类任务。这个数据集包含乳腺癌肿瘤的特征以及肿瘤是良性还是恶性的标签。特征包括细胞核的形状、大小和纹理等细节。数据集由569个样本组成，每个样本包括30个特征和一个目标标签，表示肿瘤是良性（B）还是恶性（M）。常用于练习数据预处理、特征选择、以及训练不同的分类器，例如逻辑回归、决策树、随机森林和支持向量机等。乳腺癌数据集的特征：

使用 scikit-learn 加载乳腺癌数据集代码如下，

from sklearn.datasets import load_breast_cancer

# 加载乳腺癌数据集
data = load_breast_cancer()

# 输出数据集的描述
print(data.DESCR)

# 获取特征和目标变量
X, y = data.data, data.target

# 输出特征名称和标签名称
print("Feature names:", data.feature_names)
print("Target names:", data.target_names)

# 输出数据集的形状
print("Shape of X (features):", X.shape)
print("Shape of y (target):", y.shape)

4、划分数据集

使用train_test_split函数将数据集划分为训练集和测试集，train_test_split函数是Scikit-Learn库中一个非常重要的工具。常用参数如下，

使用代码：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载乳腺癌数据集
data = load_breast_cancer()
X = data.data
y = data.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 输出分割结果
print("训练集样本数量:", X_train.shape[0])
print("测试集样本数量:", X_test.shape[0])
print("训练集中每类的样本比例:", [sum(y_train == i) for i in range(len(data.target_names))])
print("测试集中每类的样本比例:", [sum(y_test == i) for i in range(len(data.target_names))])

5、训练SVM模型

Python中使用scikit-learn库训练支持向量机（SVM）模型是一个直接而高效的过程，可以应用于分类、回归甚至是异常值检测任务。SVC（Support Vector Classification）类是支持向量机（SVM）用于分类任务的实现。它提供了一个富有弹性的方式来执行线性和非线性分类。SVC类是在sklearn.svm模块中定义的。常用参数如下，

使用代码，

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

# 加载数据集
data = load_breast_cancer()
X = data.data
y = data.target

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 初始化SVC模型
svc = SVC(kernel='linear', C=1.0, probability=True)

# 训练模型
svc.fit(X_train, y_train)

# 预测测试集
y_pred = svc.predict(X_test)

# 模型评估
accuracy = accuracy_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)
class_report = classification_report(y_test, y_pred)

print(f'Accuracy: {accuracy}\n')
print(f'Confusion Matrix:\n{conf_matrix}\n')
print(f'Classification Report:\n{class_report}')