'''
决策树实例,决策树优点:
优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据
缺点:可能会产生过度匹配问题
适用数据类型:数值型和标称型
'''
'''
决策树一般流程:
1、收集数据
2、准备数据
3、分析数据
4、训练数据
5、测试数据
6、使用算法
'''
from numpy import *
import operator
from os import listdir
from math import log
#创建数据集,标签集
def creatDataSet():
dataSet = [[1,1,'yes'],
[1,1,'yes'],
[1,0,'no'],
[0,1,'no'],
[0,1,'no']]
labels = ['no surfacing','flippers']
return dataSet,labels
#计算给定数据集的熵
#熵:信息的期望值(均值),熵越高数据越混乱
def calcShannonEnt(dataSet):
numEntries = len(dataSet) #计算样本集中样本的个数,确定循环次数
labelCounts = {}
for eachLine in dataSet: #遍历dataSet的每一行
currentLabel = eachLine[-1] #提取样本集中每个样本的标签,每一行数据的最后一个为标签
if currentLabel not in labelCounts.keys(): #labelCounts.keys()返回labelCounts所有键值
labelCounts[currentLabel] = 0 #如果当前样本的标签不在labelCounts中,将其值赋为0,
labelCounts[currentLabel] += 1 #如果在就加1,统计标签出现的次数
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key])/numEntries #计算p(x_i)
shannonEnt -= prob * log(prob,2) #计算熵值
return shannonEnt
#按照给定属性划分数据集
# dataSet: 需要划分的数据集
# axis: 划分数据集的属性 0: 不浮出水面是否可以生存 1: 是否有脚蹼
# value: 需要返回的特征的值 0: 否 1:是
def splitDataSet(dataSet,axis,value):
retDataSet = [] #创建新的列表对象,防止列表被修改
for featVec in dataSet: #dataSet中每个元素也为一个列表,遍历dataSet中每个元素
if featVec[axis] == value: #提取符合特征的数据
reducedFeatVec = featVec[:axis]
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec)
return retDataSet
#选择最好的数据划分方式
def chooseBestFeatureToSplit(dataSet):
numFeatures = len(dataSet[0]) - 1 #dataSet第一行长度减去标签,即为属性个数
baseEntropy = calcShannonEnt(dataSet) #计算整个数据集的熵
bestInfoGain = 0.0; bestFeature = -1
for i in range(numFeatures): #遍历数据集中所有的特征
featList = [example[i] for example in dataSet] #取出dataSet中每个元素(dataSet中元素为列表)中的第i个元素组成一个列表
uniqueVals = set(featList) #转为集合类型,集合类型各个元素互不相同,删选出各个特征的取值
newEntropy = 0.0
for value in uniqueVals: #遍历特征的属性取值,计算每一种划分的熵
subDataSet = splitDataSet(dataSet,i,value)
prob = len(subDataSet)/float(len(dataSet)) #计算概率
newEntropy += prob*calcShannonEnt(subDataSet) #计算熵
infoGain = baseEntropy - newEntropy
if (infoGain > bestInfoGain):
bestInfoGain = infoGain
bestFeature = i
return bestFeature
def majorityCnt(classList): #返回出现次数最多的分类名称
classCount = {}
for vote in classCount:
if vote not in classCount.keys():
classCount[vote] = 0
classCount[vote] += 1
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
def creatTree(dataSet,labels):
classList = [example[-1] for example in dataSet] #取出dataSet中每个元素(dataSet中元素为列表)中的最后一列元素组成一个列表,即为类别
if classList.count(classList[0]) == len(classList): #count()方法统计classList中classList[0]出现的次数,如果与长度相等,则表明全为一类
return classList[0]
if len(classList) == 1 :
return majorityCnt(classList)
bestFeat = chooseBestFeatureToSplit(dataSet)
bestFeatLabel = labels[bestFeat]
myTree = {bestFeatLabel:{}}
del(labels[bestFeat])
featValues = [example[bestFeat] for example in dataSet]
uniqueValues = set(featValues)
for value in uniqueValues:
subLabels = labels[:] #复制类标签
myTree[bestFeatLabel][value] = creatTree(splitDataSet(dataSet,bestFeat,value),subLabels) #递归创建决策树
return myTree
机器学习实战笔记二——决策树
最新推荐文章于 2021-01-09 22:19:42 发布