集成学习(Ensemble)_代码

下面所述的分类器模型，理论过程都是一致的。首先建立模型，如KNN、决策树、bagging_KNN、bagging_决策树。再利用fit函数对训练数据集进行训练，以提取特征。最后对数据分类，预测，得到结果；
注：决策树的分解都为直线段组成，而不是曲线

Voting

# 载入数据集
iris = datasets.load_iris()  
# 只要第1,2列的特征
x_data, y_data = iris.data[:, 1:3], iris.target
print(x_data.shape)
# 定义三个不同的分类器
clf1 = KNeighborsClassifier(n_neighbors=1)  
clf2 = DecisionTreeClassifier() 
clf3 = LogisticRegression()  
sclf = VotingClassifier([('knn',clf1),('dtree',clf2), ('lr',clf3)],voting='soft')   
# voting为投票方式，hard和soft，默认为hard-少数服从多数 soft-加权
for clf, label in zip([clf1, clf2, clf3, sclf],
                      ['KNN','Decision Tree','LogisticRegression','VotingClassifier']):  
    scores = model_selection.cross_val_score(clf, x_data, y_data, cv=3, scoring='accuracy')  
    print("Accuracy: %0.2f [%s]" % (scores.mean(), label)) 

Accuracy: 0.91 [KNN]
Accuracy: 0.91 [Decision Tree]
Accuracy: 0.91 [LogisticRegression]
Accuracy: 0.94 [VotingClassifier]

bagging

iris = datasets.load_iris()
x_data = iris.data[:,:2]
y_data = iris.target
x_train,x_test,y_train,y_test = train_test_split(x_data, y_data)
# 拆分成训练集和测试集

# 画图函数，将选择的模型输入，得到相应的预测结果
def plot(model):
    # 获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1
    # 生成网格矩阵
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                                  np.arange(y_min, y_max, 0.02))
    z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    # ravel与flatten类似，降维，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = z.reshape(xx.shape)
    # 等高线图
    cs = plt.contourf(xx, yy, z)
    # 样本散点图
    #plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test)
    #plt.show()

# 训练knn分类器，knn最邻近规则分类
knn = neighbors.KNeighborsClassifier()
knn.fit(x_train, y_train)
# 画图
plot(knn)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
# 准确率
knn.score(x_test, y_test)

准确率为：0.7368421052631579

# 训练决策树分类器
dtree = tree.DecisionTreeClassifier()
dtree.fit(x_train, y_train)
# 画图
plot(dtree)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
# 准确率
dtree.score(x_test, y_test)

准确率：0.7105263157894737

bagging_knn = BaggingClassifier(knn, n_estimators=100) # 第二参数为采样次数
# 输入数据建立模型
bagging_knn.fit(x_train, y_train)
plot(bagging_knn)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
bagging_knn.score(x_test, y_test)

准确率：0.7894736842105263

bagging_tree = BaggingClassifier(dtree, n_estimators=100)
# 输入数据建立模型
bagging_tree.fit(x_train, y_train)
plot(bagging_tree)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
bagging_tree.score(x_test, y_test)

准确率：0.7105263157894737