本文深入探讨Spark MLlib中的特征提取，特别是CountVectorizer算法。CountVectorizer通过计数将文档转换为向量，它能创建词汇表并根据词频排序选择词汇。在训练过程中，可通过设置vocabsize和minDF超参数来控制词汇表大小和词语出现频率。通过实例展示了如何使用CountVectorizer对DataFrame进行预处理。
这一部分主要介绍和特征处理相关的算法，大体分为以下三类：
1）特征抽取：从原始数据中抽取特征
2）特征转换：特征的维度、特征的转化、特征的修改
3）特征选取：从大规模特征集中选取一个子集
特征提取：
CountVectorizer
CountVectorizer旨在通过计数来将一个文档转换为向量。当不存在先验字典时，CountVectorizer作为Estimator提取词汇进行训练，并生成一个CountVectorizerModel用于存储相应的词汇向量空间。
在CountVectorizerModel的训练过程中，CountVectorizer将根据语料库中的词频排序从高到低进行选择，词汇表的最大含量由vocabsize超参数来指定，超参数minDF，则指定词汇表中的词语至少要在多少个不同文档中出现。
1）导入CountVectorizer所需要的包：
2）假设我们有如下的DataFrame，其包含id和words两列，可以看成是一个包含两个文档的迷你语料库
3）通过CountVecto
最低0.47元/天 解锁文章
549
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
