算法思想
找到一个可以分割两类类别的边界,这个边界其实有很多条,如何找到最优的边界呢?
间隔
分类器间隔: 分类边界可以扩展到样本点的最大宽度。
最大间隔分类器:在样本中能够达到最大间隔的线性分类器被称为线性SVM (Linear Support Vector Machine, LSVM)
SVM 正则项
C值越大,入越小,正则化越弱 ,容忍的错误越小-> narrow margin,即间隔更窄,也就是新来点的时候能更精确的判断
C值越小,正则化越强 ->large margin,因为间隔大新来点时判断错误的可能性就大
优缺点及优化
优点
•模型简单,容易训练
•能快速预测
•适用于较大(数据量,特征维度) 的数据集
•对于预测结果能很好地解释原因
适用数据:
①线性可分的二分类数据:数据为二分类问题,且这两类数据可以通过线性 分开的
②对小样本数据有优势
③对数值型数据好,对符号性不太好
缺点
•对于低维度的数据,可能没有其他分类器表现的好
•不能很好地去分类不能线性分割的数据集(考虑使用非线性核函数,即 kernel SVM)
优化–使用非线性核函数 kernel SVM
选择一个好的kenel进行升维非常难选
scikit-learn调用SVM模型
建立模型
svm_model = SVC(C=c_value)
训练模型
svm_model.fit(X_train, y_train)
例子
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.svm import SVC
# 加载数据集
fruits_df = pd.read_table('fruit_data_with_colors.txt')
X = fruits_df[['width', 'height']]
y = fruits_df['fruit_label'].copy()
# 将不是apple的标签设为0
y[y != 1] = 0
# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1/4, random_state=0)
# 不同的C值
c_values = [0.0001, 1, 10000]
for c_value in c_values:
# 建立模型
svm_model = SVC(C=c_value)
# 训练模型
svm_model.fit(X_train, y_train)
# 验证模型
y_pred = svm_model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print('C={},准确率:{:.3f}'.format(c_value, acc))
# 可视化
plot_class_regions_for_classifier(lr_model, X_test.values, y_test.values, title='C={}'.format(c_value))