Udacity机器学习入门笔记——决策树（Decision Tree）

最新推荐文章于 2020-04-30 22:57:44 发布

沐婉清

最新推荐文章于 2020-04-30 22:57:44 发布

阅读量705

点赞数 1

分类专栏：机器学习文章标签： python 机器学习算法

本文链接：https://blog.csdn.net/zhning12L/article/details/78532090

版权

机器学习专栏收录该内容

24 篇文章 1 订阅

订阅专栏

本文介绍了决策树的基本原理，包括如何使用算法根据数据创建决策边界。详细讲解了sklearn库中决策树的Python实现，并提供了相关参数链接。此外，讨论了熵和信息增益的概念，信息增益是决策树选择分割特征的重要依据，以达到最大化信息增益的目标。

摘要由CSDN通过智能技术生成

决策树原理：

使用计算机算法根据数据自动找出决策边界

参考下图：

这里写图片描述

决策树的python代码（sklearn）

链接：http://scikit-learn.org/stable/modules/tree.html

>>> from sklearn import tree
>>> X = [[0, 0], [1, 1]]
>>> Y = [0, 1]
>>> clf = tree.DecisionTreeClassifier()
>>> clf = clf.fit(X, Y)

决策树可以调的参数：sklearn.tree.DecisionTreeClassifier

链接：
http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier

DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)

练习：写出当最小分割为50和2时的准确性

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

clf_50=DecisionTreeClassifier(min_samples_split=50)
clf_50.fit(features_train,labels_train)
pre50=clf_50.predict(features_test)
acc_min_samples_split_50=accuracy_score(labels_test,pre50)

clf=DecisionTreeClassifier()
clf=clf.fit(features_train,labels_train)
pre2=clf.predict(features_test)
acc_min_samples_split_2=accuracy_score(labels_test,pre2)

def submitAccuracies():
  return {"acc_min_samples_split_2":round(acc_min_samples_split_2,3),
          "acc_min_samples_split_50":round(acc_min_samples_split_50,3)}