Scikit-learn之支持向量机

最新推荐文章于 2024-08-07 09:41:39 发布

ZJJ-NUDT

最新推荐文章于 2024-08-07 09:41:39 发布

阅读量1.9k

点赞数 1

分类专栏： sklearn 文章标签：支持向量机机器学习 scikit-learn

本文链接：https://blog.csdn.net/zjj563447030/article/details/122008841

版权

sklearn 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Scikit-learn之支持向量机

1. 支持向量机简介
2. SVM在sklearn中的实现

1. 支持向量机简介

SVM（支持向量机）是机器学习中监督学习算法里面的一个分类算法。SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，从而实现分类目的。（关于SVM的算法流程，建议学习凸优化、分离超平面等理论知识）

2. SVM在sklearn中的实现

2.1 实现目标

现有已知所属类别数据如下：

x	y	label
0.1	0.7	0
0.3	0.6	0
0.4	0.1	0
0.5	0.4	0
0.8	0.04	0
0.42	0.6	0
0.9	0.4	1
0.6	0.5	1
0.7	0.2	1
0.27	0.8	1
0.7	0.67	1
0.5	0.72	1

前6条数据集的类别为0；后6条数据集的类别为1。
现有未知类别数据如下：

import numpy as np
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.002),
                     np.arange(y_min, y_max, 0.002)) # meshgrid如何生成网格

现要求，根据已知类别数据来预测未知类别数据的所属类别（使用SVM，并利用多种核函数进行实践）。

2.2 实现步骤

数据预处理
在这一步应通过相关数据处理方法，获得属性数据和标签数据。
指定模型
sklearn库中有多种类型的SVM模型，主要通过更改核函数来实现。常见的核函数有线性（linear）、多项式（ploy）、高斯（rbf）。
训练模型
将训练数据属性、训练数据对应的标签输入模型，获得模型参数。
测试模型
利用测试数据集来对模型进行测试，判断模型的优劣。
应用模型

2.3 线性核函数

import numpy as np
from matplotlib import pyplot as plt
from sklearn import svm


#第一步，数据预处理（这里使用没有实际含义的数据）

#首先生成训练数据
data = np.array([
    [0.1, 0.7],
    [0.3, 0.6],
    [0.4, 0.1],
    [0.5, 0.4],
    [0.8, 0.04],
    [0.42, 0.6],
    [0.9, 0.4],
    [0.6, 0.5],
    [0.7, 0.2],
    [0.7, 0.67],
    [0.27, 0.8],
    [0.5, 0.72]
])#data的第一列为x，第二列为y
label = [1] * 6 + [0] * 6#label反应了数据所属类别

#接着生成测试数据
x_min, x_max = data[:, 0].min() - 0.2, data[:, 0].max() + 0.2
y_min, y_max = data[:, 1].min() - 0.2, data[:, 1].max() + 0.2
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.002),np.arange(y_min, y_max, 0.002)) 
#meshgrid生成网格，例如np.meshgrid([1,2],[4,5])会生成一个2*2网格，返回两个数组
#array([[1,2],[1,2]]、array([[4,4],[5,5]])，即四个点(1,4), (2,4), (1,5), (2,5)



#第二步，指定模型
model_linear=svm.SVC(kenel='linear',C=0.001)
#kenel参数表达了想要使用的核函数，C是惩罚因子，越大再训练的时候训练结果的正确率越高
#（但是容易出现过拟合状况）


#第三步，训练模型
model_linear.fit(data,label)
#这一步将会根据data和label得出模型参数，为后续预测未知类别数据提供基础

#第四步，测试模型
Z = model_linear.predict(np.c_[xx.flatten(), yy.ravel()]) 
# 预测，这一步将会得到每一个(x,y)对应的预测标签
#xx、yy均是一个二维数组，这里使用flatten和ravel两种方法将二维数组降维为一维数组

#首先声明两者所要实现的功能是一致的（将多维数组降位一维）。这点从两个单词的意也可以看出
#来，ravel(散开，解开)，flatten（变平）。两者的区别在于返回拷贝（copy）还是返回视图
#（view），numpy.flatten()返回一份拷贝，对拷贝所做的修改不会影响（reflects）原始矩
#阵，而numpy.ravel()返回的是视图（view，也颇有几分C/C++引用reference的意味），
#会影响（reflects）原始矩阵。
#若测试数据有其label_text，则可以利用model_linear.score(np.c_[xx.flatten(), yy.ravel(),label_test]测试模型

#第五步，结果可视化
Z = Z.reshape(xx.shape)#输出标签结果为一维数组，为了做等高线图，将标签结果重设为何xx或yy一样的结构
plt.contourf(xx, yy, Z, cmap = plt.cm.ocean, alpha=0.6)
plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3) 
plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
plt.title('Linear SVM')
plt.show()
#函数功能：用来绘制等高线和决策边界
#调用方法：plt.contourf(X,Y,Z,cmap)
#参数说明：
#X：网格点的横坐标
#Y：网格点的纵坐标
#Z：网格点的值（等高线图的高度值）
#cmap：颜色图，指定Z不同值（不同高度）所对应不同的填充色

在这里插入图片描述从结果可以看到，线性核分类基本上达到了目的，但是还有提升空间。

2.4 多项式核函数

本节数据集继续使用2.3节设定的数据集

plt.figure(figsize=(16, 15))
for i, degree in enumerate([1, 3, 5, 7, 9, 12]):
    # C: 惩罚系数
    model_poly = svm.SVC(C=0.0001, kernel='poly', degree=degree) # 多项式核
    model_poly.fit(data, label)
    # ravel - flatten
    # c_ - vstack
    # 把后面两个压扁之后变成了x1和x2，然后进行判断，得到结果在压缩成一个矩形
    Z = model_poly.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    plt.subplot(3, 2, i + 1)
    plt.subplots_adjust(wspace=0.4, hspace=0.4)
    plt.contourf(xx, yy, Z, cmap=plt.cm.ocean, alpha=0.6)
 
    # 画出训练点
    plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3)
    plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
    plt.title('Poly SVM with $\degree=$' + str(degree))
plt.show()

在这里插入图片描述

2.5 高斯核函数

本节数据集继续使用2.3节设定的数据集

plt.figure(figsize=(16, 15))
 
for i, gamma in enumerate([1, 5, 15, 35, 45, 55]):
    # C: 惩罚系数，gamma: 高斯核的系数
    model_rbf = svm.SVC(kernel='rbf', gamma=gamma, C= 0.0001)
    model_rbf.fit(data, label)
 
    # ravel - flatten
    # c_ - vstack
    # 把后面两个压扁之后变成了x1和x2，然后进行判断，得到结果在压缩成一个矩形
    Z = model_rbf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    plt.subplot(3, 2, i + 1)
    plt.subplots_adjust(wspace=0.4, hspace=0.4)
    plt.contourf(xx, yy, Z, cmap=plt.cm.ocean, alpha=0.6)
 
    # 画出训练点
    plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3)
    plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
    plt.title('RBF SVM with $\gamma=$' + str(gamma))
plt.show()

在这里插入图片描述

2.6 总结

以上内容，对支持向量机在sklearn中的实现从数据预处理、模型设定、训练模型、测试模型等方面进行了实操和展示，分析了多种核函数、参数等对SVM分类的影响。编程实现过程中，有些环节巧妙地使用了numpy中的技巧，简化了代码，所以打好numpy基础，对于提高编程技能、简化编程过程具有较好的作用。（建议读者，通过本文的学习，可以自行学习numpy中的flatten、ravel等方法，以及np.c_[]的使用方法和使用目的，掌握了这些方法，在后续学习过程中将会达到事半功倍的效果！）