第4章 4.6使用朴素贝叶斯过滤垃圾邮件

4.6使用朴素贝叶斯过滤垃圾邮件

  其中有一部分函数在上一节的内容中记录过，因为该实例需要使用上节中介绍的某些函数，所以把那些函数拷贝过来了。

  添加的新函数：text Parse（），spamTest()

  其中spamTest()函数是对叶贝斯垃圾邮件分类器进行自动化处理。过程如下

1.  导入文件夹spam和ham下的文本文件（分别对应正常邮件和垃圾邮件），将文本文件解析为词列表（['this','dog','hello'...]）,并将所有文本对应的词列表添加到docList中，将对应的分类标签添加到标签向量classList中。
2. 根据词列表集合得到该数据集的词汇表。
3. 随机构建训练集索引：首先产生0-49共50个数的列表。然后产生10个随机数，这10个随机数对应测试集在整个数据集docList中的索引。在测试集索引中添加这10个随机数，在训练集索引中删除这10个随机数。
4. 将训练集中词列表转化为词向量，并添加对应标签：根据训练集索引在doc List中获得词列表，再通过词汇表和相应函数转化为词向量。并添加对应的分类标签。
5. 获得各特征在0，1分类下的概率（以列表形式），以及类别1的概率
6. 对测试集分类：依次对测试集中的数据转化为词向量，根据概率，得到分类结果。并统计分类错误的邮件数，计算错误率

 

# -*- coding: utf-8 -*-
import random
from numpy import *
'''
函数功能：创建一个包含在所有文档中出现的不重复词的列表
输入：词条切割后的文本集合：list
输出：该文本集合的词汇表：list
函数思想：首先创建一个空集，用于存放最后的结果。然后依次读取文档中的样本数据，获取刚样本数据中不重复的元素
          通过和存放词汇表的vocabSet求并集，可依次将不重复的词添加到vocabSet中。         
'''
def createVocabList(dataset):
    vocabSet = set([])#创建一个空集，用于存放包含在所有文档中出现的不重复词的列表
    
    #将每篇文档返回的新词集合添加到vocabSet中
    for document in dataset:        
        vocabSet = vocabSet | set(document)#|用于求两个集合的并集,
        #set(document)表示该词条中出现的不重复的单词。然后求并集，可依次将未出现