机器学习
关注
分享
扫一扫
文章平均质量分 86
I can丶
这个作者很懒，什么都没留下…
展开
-
西瓜书+实战+吴恩达机器学习（一）机器学习基础（数据集划分、分类回归评估指标）
文章目录0. 前言如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言原创 2019-02-21 12:08:49 · 2119 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录0. 前言1. 偏差方差的解决方法2. 高偏差高方差的学习曲线3. 调试模型顺序如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言泛化误差可分解为偏差、方差、噪声之和。偏差：度量了学习算法的期望预测与真实结果的偏离程度方差：度量了同样大小的数据集的变动所导致的学习性能的变化噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差下界泛化...原创 2019-02-21 15:45:45 · 598 阅读 · 2 评论 -
西瓜书+实战+吴恩达机器学习（三）机器学习基础（多分类、类别不平衡）
文章目录0. 前言1. 多分类学习2. 类别不平衡如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言本篇介绍机器学习中的多分类和类别不平衡问题。1. 多分类学习一些算法可以直接进行多分类，而另一些算法则不行，基本思路是：将多分类任务拆为若干个二分类任务求解。一对一（One vs. One, OvO）：给定数据集，将NNN个类别两两配对，产生N(N−...原创 2019-02-21 18:33:54 · 832 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression
文章目录0. 前言如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言原创 2019-02-21 22:01:53 · 400 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis
文章目录0. 前言1. 线性判别分析求解方法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言线性判别分析LDA的思想非常朴素：给定数据集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。在分类时，同样将样例投影到直线上，根据位置确定类别。如下图所示（图源：机器学习）：1. 线性判别分析求解方法定义Xi&nb...原创 2019-02-22 10:43:34 · 760 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（六）监督学习之逻辑回归 Logistic Regression
文章目录0. 前言1. 逻辑回归求解方法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言逻辑回归，根据数据对分类边界进行回归，以此分类。y=σ(wTx+b)=11+exp(−wTx+b)y=\sigma(w^Tx+b)=\frac{1}{1+\exp(-w^Tx+b)}y=σ(wTx+b)=1+exp(−wTx+b)1逻辑回归不仅仅输出类别，...原创 2019-02-22 11:39:13 · 467 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（七）监督学习之决策树 Decision Tree
文章目录0. 前言1. 划分选择1.1. ID3决策树1.2. C4.5决策树1.3. CART决策树2. 剪枝3. 连续值处理4. 缺失值处理如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言一颗决策树包含一个根节点、若干个内部节点、若干个叶子节点，叶子节点对应于决策结果，其他每个节点对应于一个属性测试。构建决策树算法如下图所示（图源：机器学习）：...原创 2019-02-23 10:14:39 · 1661 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（八）监督学习之朴素贝叶斯 Naive Bayes
文章目录0. 前言1. 朴素贝叶斯算法2. 半朴素贝叶斯算法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言贝叶斯算法根据概率，选择概率最大的一类。1. 朴素贝叶斯算法朴素贝叶斯（naive Bayes）采用了属性条件独立性假设：对已知类别，假设所有属性相互独立。P(c∣x)=P(c)P(x∣c)P(x)=P(c)P(x)∏i=1dP(xi∣c)...原创 2019-02-25 08:57:05 · 920 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（九）监督学习之k近邻 K-Nearest Neighbor
文章目录0. 前言1. knn算法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言k近邻的思想就是每个样本都可以用它最接近的k个邻居来代表。缺点是必须保存所有的训练数据，以便预测的时候需要。1. knn算法计算待测试样本与训练集合中每一个样本的欧式距离对每一个距离从小到大排序选择前k个距离最短的样本，分类任务可采用投票法，回归任务可采用平均法...原创 2019-02-26 09:18:42 · 765 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十）监督学习之支持向量机 Support Vector Machine
文章目录0. 前言1. 拉格朗日乘子法2. SVM参数求解方法3. 软间隔4. 核方法5. 支持向量回归如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言在样本空间中，划分超平面可通过线性方程wTx+b=0w^Tx+b=0wTx+b=0决定。严格的说，对超平面设置上界和下界，如下图所示（图源：机器学习）：并满足：{wTxi+b⩾+1, y...原创 2019-02-26 10:39:47 · 297 阅读 · 3 评论 -
西瓜书+实战+吴恩达机器学习（十一）监督学习之集成学习
文章目录0. 前言1. 集成方法2. 结合策略2.1. 平均法2.2. 投票法2.3. 学习法3. 多样性度量4. 多样性增强如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。同质集成中的个体学习器称为基学习器，相应学习算法称为基学习算法。个体学习器的准确性越高，多样...原创 2019-02-26 19:16:06 · 689 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十二）监督学习之AdaBoost
文章目录0. 前言1. AdaBoost算法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言AdaBoost是集成学习Boosting的代表算法。Boosting主要关注降低偏差，因此能基于泛化性能较差的学习器构建出很强的集成。1. AdaBoost算法AdaBoost 算法流程可描述如下：对每个训练样本设定相等的权重训练一个加权错误率最低的...原创 2019-02-27 10:27:10 · 683 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十三）监督学习之随机森林 Random Forest
文章目录0. 前言如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言Bagging：对数据集进行有放回采样，采mmm次构成一个新的数据集，基于这个数据集训练基学习器，如此重复采样并训练直到达到指定学习器数目，将这些学习器集成Bagging主要关注降低方差，因此在易受样本扰动的学习器（决策树、神经网络）上效果更佳。...原创 2019-02-27 14:30:15 · 1061 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录0. 前言1. 性能度量1.1. 外部指标1.2. 内部指标2. 距离计算3. k-means算法4. 学习向量量化5. 高斯混合聚类6. 密度聚类 DBSCAN7. 层次聚类 AGNES如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言无监督学习意味着样本的标记信息是未知的，目标是揭示数据的内在规律。聚类试图将数据集划分为不同的子集，称为“簇”...原创 2019-03-01 09:15:02 · 1188 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录0. 前言1. Apriori算法1.1. 寻找频繁项集1.2. 挖掘关联规则2. FP-growth算法2.1. 构建FP树2.2. 寻找频繁项集如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言关联分析：从大规模的数据集中，寻找不同特征或者物品之间的隐含关系。关联分析通常由两步组成，从数据中寻找频繁项集，然后从频繁项集中挖掘关联规则。给出以...原创 2019-03-01 09:48:21 · 1218 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录0. 前言1. 半监督SVM2. 半监督k-means2.1. 约束k-means2.2. 约束种子k-means3. 协同训练算法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言半监督学习中部分样本有标记，部分样本无标记。半监督学习可分为两种：纯半监督学习：希望学得的模型适用于未观察到的数据直推学习：希望对数据集中未标记的样本进行预测...原创 2019-03-01 18:40:03 · 4925 阅读 · 3 评论 -
西瓜书+实战+吴恩达机器学习（十七）规则学习（序贯覆盖）
文章目录0. 前言1. 序贯覆盖如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则。⊕←f1∧f2∧...∧fL\oplus \leftarrow f_1\wedge f_2\wedge ...\wedge f_L⊕←f1∧f2∧...∧fL规则学习具有更好的可解释性，能更直观的了...原创 2019-03-02 09:13:46 · 779 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录0. 前言1. 主成分分析PCA如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言维数灾难：在高维情形下出现的数据样本稀疏、距离计算困难等问题。缓解维数灾难的方法是降维。降维的好处：舍弃部分信息后能使得样本的采样密度增大当数据受到噪声影响时，舍弃的无关信息往往与噪声有关1. 主成分分析PCA主成分分析（Principal Compo...原创 2019-03-02 10:53:50 · 1304 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录0. 前言1. 过滤式选择2. 包裹式选择如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言特征选择是一个很重要的数据预处理过程：选择出重要的特征可以缓解灾难维数问题去除不相关特征可以降低学习任务的难度特征选择可分为子集搜索和子集评价：子集搜索：前向搜索（逐渐增加特征），后向搜索（逐渐减少特征）子集评价：可采用信息增益对子集进行评价...原创 2019-03-03 09:16:41 · 1726 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（二十）随机算法（拉斯维加斯方法、蒙特卡罗方法）
文章目录0. 前言1. 拉斯维加斯方法2. 蒙特卡罗方法如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言随机算法主要分为两种类型：拉斯维加斯方法：采样次数越多，越有可能给出最优解蒙特卡罗方法：采样次数越多，越能近似最优解1. 拉斯维加斯方法拉斯维加斯方法或者给出满足要求的解，或者不给出解。拉斯维加斯方法找到正确解的概率会随着计算时间的增加而...原创 2019-03-03 11:48:37 · 413 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录0. 前言1. 贝叶斯网络结构2. 近似推断2.1. 吉布斯采样3. 隐马尔可夫模型HMM如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量，图中的边代表变量之间存在某种联系。贝叶斯网络利用有向无环图DAG来刻画变量之间的依赖关系。B=<G,θ>B=&...原创 2019-03-03 15:07:49 · 1683 阅读 · 1 评论 -
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录0. 前言1. 马尔可夫随机场结构2. 近似推断2.1. Metropolis-Hastings如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量，图中的边代表变量之间存在某种联系。马尔可夫随机场（Markov Random Field）是著名的无向图模型。马尔可夫链：系统下一...原创 2019-03-04 10:19:28 · 697 阅读 · 0 评论 -
西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断
文章目录0. 前言1. EM算法2. 变分推断如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言EM算法是常用的估计参数隐变量的方法，它是一种迭代式算法，EM算法原型：E步：若参数θ\thetaθ已知，则可根据训练数据推断出最优隐变量ZZZM步：若ZZZ的值已知，则可方便的对参数θ\thetaθ进行极大似然估计1. EM算法在概率图模型中，主要...原创 2019-03-05 09:56:09 · 1383 阅读 · 0 评论 -
吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）
目录0. 前言1. 假设函数（Hypothesis）2. 代价函数（Cost Function）3. 梯度下降（Gradient Descent）学习完吴恩达老师机器学习课程的单变量线性回归，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言单变量线性回归（Linear Regr...原创 2018-09-20 23:40:29 · 4095 阅读 · 2 评论 -
吴恩达机器学习（二）多元线性回归（假设、代价、梯度、特征缩放、多项式）
目录0. 前言1. 假设函数（Hypothesis）2. 代价函数（Cost Function）3. 梯度下降（Gradient Descent）4. 特征缩放（Feature Scaling）5. 多项式回归方程（Polynomial Regression）学习完吴恩达老师机器学习课程的多变量线性回归，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。...原创 2018-09-21 19:54:05 · 2566 阅读 · 0 评论 -
吴恩达机器学习（三）正规方程（求解线性回归参数）
目录0. 前言1. 正规方程（Normal Equation）2. 不可逆矩阵的情况3. 与梯度下降的比较学习完吴恩达老师机器学习课程的多变量线性回归，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言在线性回归中，通常采用梯度下降，不断迭代来降低代价函数 ，求解最佳的参数 。...原创 2018-09-21 20:40:40 · 2593 阅读 · 0 评论 -
吴恩达机器学习（四）逻辑回归（二分类与多分类）
目录0. 前言1. 假设函数（Hypothesis）2. 决策边界（Decision Boundary）3. 代价函数（Cost Funciton）4. 梯度下降（Gradient Descent）5. 逻辑回归实现多分类6. 其他求解参数的方法学习完吴恩达老师机器学习课程的逻辑回归，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你...原创 2018-09-22 20:08:17 · 14635 阅读 · 0 评论 -
吴恩达机器学习（五）正则化（解决过拟合问题）
目录0. 前言1. 正则化（Regularization）2. 线性回归中的正则化3. 逻辑回归中的正则化学习完吴恩达老师机器学习课程的正则化，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言在分类或者回归时，通常存在两个问题，“过拟合”（overfitting）和“欠拟合”（...原创 2018-09-24 19:43:29 · 1203 阅读 · 0 评论 -
吴恩达机器学习（六）神经网络（前向传播）
目录0. 前言1. 神经网络模型2. 前向传播（forward propagation）3. 神经网络中的多分类学习完吴恩达老师机器学习课程的神经网络，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言神经网络（Neural Network），是通过模拟生物大脑的突触神经传播电信...原创 2018-09-25 16:02:11 · 1376 阅读 · 1 评论 -
吴恩达机器学习（七）神经网络（反向传播）
目录0. 前言1. 代价函数（Cost Function）2. 反向传播（back propagation）3. 前向传播和反向传播的结合4. 梯度检测（gradient checking）5. 随机初始化学习完吴恩达老师机器学习课程的神经网络，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心...原创 2018-09-27 15:18:51 · 2735 阅读 · 1 评论 -
吴恩达机器学习（八）偏差与方差
目录0. 前言1. 评估模型过程2. 最高次幂对方差偏差的影响3. 正则化参数对方差偏差的影响4. 高偏差的学习曲线5. 高方差的学习曲线6. 对机器学习算法的调试学习完吴恩达老师机器学习课程的应用机器学习的建议，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言对训...原创 2018-09-28 19:02:08 · 1439 阅读 · 0 评论 -
吴恩达机器学习（九）Precision、Recall、F-score、TPR、FPR、TNR、FNR、AUC、Accuracy
目录0. 前言1. Precision、Recall、F-score（F-measure）2. TPR、FPR、TNR、FNR、AUC3. Accuracy学习完吴恩达老师机器学习课程的机器学习系统设计，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言针对二分类的结果，对模型进...原创 2018-09-30 16:11:04 · 15973 阅读 · 9 评论 -
吴恩达机器学习（十）支持向量机（SVM）
目录0. 前言1. 代价函数（Cost Function）2. 假设函数（Hypothesis）3. 范数表示4. 高斯核函数（Gaussian Kernel）5. SVM实现多分类6. 逻辑回归和SVM的选择学习完吴恩达老师机器学习课程的支持向量机，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我...原创 2018-10-05 00:32:50 · 857 阅读 · 0 评论 -
吴恩达机器学习（十一）K-means（无监督学习、聚类算法）
目录0. 前言1. K-means的算法流程2. 代价函数（优化目标函数）3. K 的选择学习完吴恩达老师机器学习课程的无监督学习，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言监督学习（supervised learning）：样本数据已经标记了所属的类别 无监督学习（u...原创 2018-10-07 12:49:35 · 1883 阅读 · 0 评论 -
吴恩达机器学习（十二）主成分分析（降维、PCA）
目录0. 前言1. 主成分分析（PCA）2. 主成分分析PCA的流程3. 低维空间维度的选择4. 主成分分析使用方式学习完吴恩达老师机器学习课程的降维，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言数据的特征数量，又称作向量的维度。降维（dimensionality re...原创 2018-10-11 12:56:17 · 5006 阅读 · 1 评论 -
吴恩达机器学习（十三）异常检测（高斯分布）
目录0. 前言1. 高斯分布（Gaussian distribution）2. 参数估计3. 异常检测算法（原始模型）4. 高斯分布异常阈值的选择5. 多变量高斯分布（多元模型）6. 原始模型和多元模型的区别学习完吴恩达老师机器学习课程的异常检测，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非...原创 2018-10-11 23:30:51 · 1513 阅读 · 0 评论 -
吴恩达机器学习（十四）推荐系统（基于梯度下降的协同过滤算法）
目录0. 前言1. 基于内容的推荐算法（Content-based recommendations）2. 计算电影特征3. 基于梯度下降的协同过滤算法（Collaborative filtering）4. 低秩矩阵分解（Low rank matrix factorization）5. 应用到推荐学习完吴恩达老师机器学习课程的推荐系统，简单的做个笔记。文中部分描述属于个...原创 2018-10-12 14:40:28 · 3538 阅读 · 3 评论 -
吴恩达机器学习（十五）大规模机器学习（Batch、Stochastic、Mini-batch gradient descent、MapReduce）
目录0. 前言1. Stochastic Gradient Descent2. Mini-batch Gradient Descent3. MapReduce4. 在线学习（online learning）学习完吴恩达老师机器学习课程的大规模机器学习，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开...原创 2018-10-13 16:01:38 · 1306 阅读 · 0 评论 -
吴恩达机器学习（十六）机器学习流水线、上限分析
目录0. 前言1. 流水线2. 上限分析（Ceiling analysis）学习完吴恩达老师机器学习课程的照片OCR，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言在设计机器学习项目的时候，通常会制定一条流水线（数据预处理、特征提取、...之类），根据流水线完成项目。在完成项...原创 2018-10-14 11:02:01 · 1542 阅读 · 0 评论 -
机器学习实战（一）k-近邻kNN（k-Nearest Neighbor）
目录0. 前言1. k-近邻算法kNN（k-Nearest Neighbor）2. 实战案例2.1. 简单案例2.2. 约会网站案例2.3. 手写识别案例学习完机器学习实战的k-近邻算法，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。所有代码和数据可以访问 我的 github如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0...原创 2018-10-15 16:56:09 · 539 阅读 · 3 评论