【机器学习 】使用朴素贝叶斯进行文档分类

朴素贝叶斯的一般过程：

1、收集数据：任何方法
2、准备数据：需要数值型或者布尔型数据
3、分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好
4、训练算法：计算不同的独立特征的条件概率
5、测试算法：计算错误率
6、使用算法：常见的朴素贝叶斯应用是文档分类。可以在任何分类场景中使用朴素贝叶斯分类器，不一定非要文本。

思考：如果每个特征需要N个样本，那么对于10个特征将需要$N^10$个样本，对于包含1000个特征的词汇表将需要$N^1000$个样本。显然可发现，所需要的样本数会随着特征数目增大而迅速增长。如果特征之间相互独立，那么样本数就可以从$N^1000$减少到$N*1000$。

朴素贝叶斯分类器的两种假设：

1、假设特征之间相互独立；即的是一个特征或者单词出现的可能性与它和其他单词相邻没有关系。当然这种假设是不准确的。朴素贝叶斯分类器中“朴素“的含义。
2、假设每个特征同等重要。这个假设也有问题。

使用python进行文本分类：
要从文本中获取特征，需要先拆分文本。以在线社区的留言板为例。为了不影响社区的发展，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，若某条留言使用了负面或者侮辱性的语言，则将该留言标示为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类别：侮辱类和非侮辱类，使用1和0分别表示。

一、准备数据：从文本中构建词向量

1、把文本看成单词向量或者词条向量，也就是说将句子转换为向量。
2、考虑出现在所有文档中的所有单词，再决定将哪些单词纳入词汇表或者说所要的词汇集合
3、然后必须要将每一篇文档转换为词汇表上的向量。

词表到向量的转换函数代码实现：

一、loadDataSet()创建了一些实验样本。
返回的第一个变量是进行词条切分后的文档集合。即留言文本被切成一系列的词条集合，标点符号从文本中去掉。
返回的第二个变量是一个文档类别标签的集合。
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive：代表侮辱性文字, 0 not：代表正常言论
    return postingList,classVec

二、createVocabList(dataSet)
输入：数据集
返回：词汇表(包含在所有文档中出现的不重复词的列表)
set()函数；
2.1、利用set数据类型创建一个空集；
2.2、遍历数据集中的每篇文档，将每篇文档返回的新词集合添加到该集合中； | 用于求两个集合的并；
2.3、返回所有文档中出现的不重复词的列表
'''
def createVocabList(dataSet):
    vocabSet=set([])
    for document in dataSet:
        vocabSet=vocabSet|set(document)
    return list(vocabSet) #转化为词汇表
'''

三、setOfWords2Vec(vocabList, inputSet)
输入：词汇表，某个文档
输出：文档向量，向量每一个元素为1或0，分别表示词汇表中的单词在输入文档中是否出现
3.1、创建一个和词汇表等长的向量，并将元素都设为0；
3.2、遍历文档中所有单词，如果出现了词汇表中的单词，则将输出的文档向量中的对应值设置为1，表示词汇表中这个单词在文档中出现了。这样，如果顺利的话，就不需要检查某个词是否还在vocabList中。

'''
def setOfWords2Vec(vocabList, inputSet):
    returnVec=[0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]=1
        else:
            print "the word: %s is not in my Vocabulary!" % word
    return returnVec

补充：

list * int 意思是将数组重复 int 次并依次连接形成一个新数组；如：[0]*3=[0,0,0]

测试：

listOposts, listClasses=naive.loadDataSet()
print("词条切分后的文档集合:"), listOposts
print("文档类别标签集合:"),  listClasses

myVocabList=naive.createVocabList(listOposts)
print("在数据集包含的所有文档中