机器学习
大数据私房菜
这个作者很懒,什么都没留下…
展开
-
字典数据抽取
# coding=utf-8_author_ = 'liuzc'# 导包from sklearn.feature_extraction import DictVectorizerdef dictvec(): """ 字典数据抽取 """ # 实例化 sparse=False 取消稀疏矩阵 dict = DictVectorizer(sparse...原创 2019-05-16 21:12:22 · 1388 阅读 · 0 评论 -
文本特征抽取
1.CountVectorizeCountVectorizer是属于常见的特征数值计算类,是一个文本特征提取方法。对于每一个训练文本,它只考虑每种词汇在该训练文本中出现的频率。CountVectorizer会将文本中的词语转换为词频矩阵,它通过fit_transform函数计算各个词语出现的次数。# coding=utf-8_author_ = 'liuzc'# 导包fro...原创 2019-05-16 20:15:52 · 846 阅读 · 0 评论 -
特征选择
http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.VarianceThreshold.html1.特征选择原因冗余:部分特征的相关度高,容易消耗计算性能噪声:部分特征对预测结果有负影响2.什么是特征选择特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征, 特征在选...原创 2019-05-20 20:43:21 · 248 阅读 · 0 评论 -
缺省值处理
如何处理数据中的缺失值? 删除 如果每列或者行数据缺失值达到一定的比例,建议放弃整行或者整列 插补 可以通过缺失值每行或者每列的平均值、中位数来填充 sklearn缺失值API: sklearn.preprocessing.ImputerImputer语法:Imputer流程:...原创 2019-05-17 12:38:56 · 4154 阅读 · 0 评论 -
sklearn降维
1.sklearn降维APIsklearn. decomposition2.PCA本质:PCA是一种分析、简化数据集的技术目的:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息。作用:可以削减回归分析或者聚类分析中特征的数量3.通过公式计算4.PCA语法# coding=utf-8_author_ = 'liuzc'from sklear...原创 2019-05-21 08:26:51 · 1200 阅读 · 0 评论 -
监督学习和无监督学习区别
前言机器学习分为:监督学习,无监督学习,半监督学习(也可以用hinton所说的强化学习)等。在这里,主要理解一下监督学习和无监督学习。监督学习(supervised learning)从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求包括输入输出,也可以说是特征和目标。训练集中的目标是由人标注的。监督学习就是最常见的分类...转载 2019-05-17 17:50:47 · 3140 阅读 · 0 评论 -
python实现KNN近邻算法
1.KNN分类算法原理1.1 概述如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。来源:KNN算法最早是由Cover和Hart提出的一种分类算法KNN算法的指导思想是“近朱者赤,近墨者黑”,由你的邻居来推断出你的类别1.2 算法图示从训练集中找到和新数据最接近的k条记录,然后根据多数类来决定新数据类别。...原创 2019-05-23 22:59:20 · 797 阅读 · 0 评论 -
朴素贝叶斯算法
1. 朴素贝叶斯分类算法原理1.1 概述贝叶斯分类算法是一大类分类算法的总称贝叶斯分类算法以样本可能属于某类的概率来作为分类依据朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种注:朴素的意思是条件概率独立性1.2 算法思想朴素贝叶斯的思想是这样的:如果一个事物在一些属性条件发生的情况下,事物属于A的概率>属于B的概率,则判定事物属于A1.3 贝叶斯公式...原创 2019-05-25 10:01:41 · 259 阅读 · 0 评论 -
分类算法-决策树与随机森林
1.决策树分类算法原理1.1 概述决策树(decision tree)——是一种被广泛使用的分类算法。相比贝叶斯算法,决策树的优势在于构造过程不需要任何领域知识或参数设置在实际应用中,对于探测式的知识发现,决策树更加适用1.2 算法思想1.2.1 找对象案例通俗来说,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:...原创 2019-06-15 09:08:33 · 1573 阅读 · 0 评论