机器学习
棉花糖灬
我就是我,是颜色不一样的烟火。
天空海阔,要做最坚强的泡沫。
我喜欢我,让蔷薇开出一种结果。
孤独的沙漠里,一样盛放的赤裸裸!
展开
-
机器学习(numpy/matplotlib/scipy)学习笔记
时域到频域——傅里叶变换频域到时域——逆傅里叶变换CNN——卷积神经网络强分类器:Logistic回归/SVM弱分类器:决策树回归连续——回归离散——分类最小二乘法的目标:求误差的最小平方和。线性回归:KNN(K邻近算法)ridge:岭回归lasso:logestic回归NLL:负对数似然在分类或者回归问题中,通常使用损失函数(代价函数)作为其目标函数ROC:receiver operating characteristicAUC:area under curve/***原创 2020-09-25 08:48:57 · 401 阅读 · 0 评论 -
机器学习(0):机器学习概述及基本概念
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。一、序言机器学习(machine learning)是当前计算机专业的一大热门,也是我研究生几年需要学习的内容之一。虽然之前粗略的学过一点皮毛,但是当初笔记做的实在不好,这次趁着看吴恩达老师的机器学习教学视频以及李航老师的《统计学习方法》,重新整理一下...原创 2019-11-16 09:30:15 · 144 阅读 · 0 评论 -
优化方法:原问题和拉格朗日对偶问题(primal-dual)
本文主要讲解有关原问题和拉格朗日对偶问题,以及它们之间的关系,从而引出弱对偶性和强对偶性以及 KKT 条件和 Slater 条件。原问题优化问题一般都可以写为下面的形式:minf0(x),x∈Rn\min f_0(x),\quad x\in R^nminf0(x),x∈Rns.t.fi(x)≤0,i=1,2,...,ms.t.\quad f_i(x)\leq0,\quad i=...原创 2019-11-28 14:56:56 · 7122 阅读 · 0 评论 -
机器学习(10):隐马尔可夫模型(HMM)
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解有关隐马尔可夫模型的相关知识,主要包括隐马尔可夫模型的概念、两个基本假设、三个基本问题,以及解决这三个基本问题的前向-后向算法、Baum-Welch 算法和 Viterbi 算法等内容。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所...原创 2019-11-17 22:01:16 · 401 阅读 · 0 评论 -
机器学习(9):最大熵模型
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解有关最大熵模型的相关知识。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可以参考本人博客中该系列之前的文章,或者直接上网搜索相关的内容。以下文章所列出的公式以及公式的推导读者们最好是在草稿本上自己推...原创 2019-11-17 22:00:32 · 243 阅读 · 0 评论 -
机器学习(8):朴素贝叶斯
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文主要讲解有关朴素贝叶斯的相关知识。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可以参考本人博客中该系列之前的文章,或者直接上网搜索相关的内容。以下文章所列出的公式以及公式的推导读者们最好是在草稿本上自己...原创 2019-11-17 21:58:57 · 194 阅读 · 0 评论 -
机器学习(7):EM(期望最大化)算法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文主要讲解有关EM算法的相关知识,除了给出算法的基本思想,还会给出该算法的由来及公式推导,这又涉及到极大似然估计和Jensen不等式的相关内容。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可以参考本人博客...原创 2019-11-17 08:58:37 · 413 阅读 · 0 评论 -
机器学习番外篇(1):极大似然估计和最小二乘法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。番外篇的内容主要是讲解一些在机器学习中经常会用到但是比较边缘化的知识,或者是某几个知识之间的一些联系和思考。番外篇的第一篇文章就来说一下“极大似然估计”,以及它与最小二乘法、负的对数似然之间的联系。一、极大似然估计极大似然估计(Maximum Likelihood Estimat...原创 2019-11-17 08:56:28 · 583 阅读 · 0 评论 -
机器学习(6):支持向量机(SVM)
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解有关支持向量机(SVM)的有关知识,主要包括线性可分SVM,线性SVM和非线性SVM的相关原理和算法过程,以及SMO算法。该部分内容数学公式的推导非常非常多,一环扣一环,所以我尽量从中学数学的角度,尽可能直观的展现整个思维过程,读者们最好在了解整个算法流程之后自己在草稿本上推...原创 2019-11-17 08:55:30 · 245 阅读 · 0 评论 -
机器学习(5):提升算法(boosting algorithm)
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解有关提升算法的知识,主要包括提升算法的基本思想,以及几个具体的提升算法——AdaBoost算法、梯度提升决策树。以及梯度提升、加法模型和前向分步算法等内容。在本文中会先给出每个算法的思想和算法流程,最后再对其中用到的某些定义做总结。本文主要是依据李航老师的《统计学习方法》...原创 2019-11-17 08:54:46 · 1279 阅读 · 0 评论 -
机器学习(4):决策树和随机森林
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解决策树和随机森林的基本思想,以及信息增益、信息增益率(比)、Gini系数等理论部分的内容,此外还有决策树的剪枝等内容。该部分内容主要是定义比较多,算法思想并不是很难。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的...原创 2019-11-17 08:53:38 · 383 阅读 · 0 评论 -
机器学习(3):聚类算法之K均值算法、层次聚类和密度聚类
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文主要讲解有关聚类的相关算法,包括K均值聚类、层次聚类以及密度聚类等,除此之外,还会讲解聚类算法中的一些基本概念,以及聚类算法效果评判的一个标准——轮廓系数。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可...原创 2019-11-17 08:53:01 · 1667 阅读 · 0 评论 -
机器学习(2):K近邻(KNN)算法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文将讲解有关K近邻算法的相关知识,主要从算法思想、KNN算法三大基本要素以及KNN算法的实现之kd树来做介绍。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可以参考本人博客中该系列之前的文章,或者直接上网搜...原创 2019-11-17 08:52:19 · 229 阅读 · 0 评论 -
机器学习(1):线性回归、Logistic回归和softmax回归
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。本文主要讲解线性回归、Logistic回归以及softmax回归的相关知识。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法请参考文章:机器学习概述及基本概念。在用到的时候就不再一一解释了。以下文章所列出的公式...原创 2019-11-17 08:51:39 · 515 阅读 · 1 评论 -
机器学习(0):机器学习概述及基本概念
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github。一、序言机器学习(machine learning)是当前计算机专业的一大热门,也是我研究生几年需要学习的内容之一。虽然之前粗略的学过一点皮毛,但是当初笔记做的实在不好,这次趁着看吴恩达老师的机器学习教学视频以及李航老师的《统计学习方法》,重新整理一下自己的笔记,同时也是整理一下自己...原创 2019-11-17 08:50:21 · 439 阅读 · 0 评论 -
机器学习(8):朴素贝叶斯
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。贝叶斯分类是一种利用贝叶斯公式来进行分类的算法总称,其中朴素贝叶斯是最简单的一种,它假设了各个样本特征之间相互独立。本文主要讲解有关朴素贝叶斯的相关知识。<!--more-->本文主要是依据李航老师的《统计学习方法》和邹博老师...原创 2019-11-16 09:41:39 · 53 阅读 · 0 评论 -
机器学习(7):EM(期望最大化)算法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文主要讲解有关EM算法的相关知识,除了给出算法的基本思想,还会给出该算法的由来及公式推导,这又涉及到极大似然估计和Jensen不等式的相关内容。<!--more-->本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频...原创 2019-11-16 09:40:56 · 390 阅读 · 0 评论 -
机器学习番外篇(1):极大似然估计和最小二乘法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。番外篇的内容主要是讲解一些在机器学习中经常会用到但是比较边缘化的知识,或者是某几个知识之间的一些联系和思考。番外篇的第一篇文章就来说一下“极大似然估计”,以及它与最小二乘法、负的对数似然之间的联系。<!--more-->一、极大似然估计...原创 2019-11-16 09:39:47 · 302 阅读 · 0 评论 -
机器学习(6):支持向量机(SVM)
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文将讲解有关支持向量机(SVM)的有关知识,主要包括线性可分SVM,线性SVM和非线性SVM的相关原理和算法过程,以及SMO算法。该部分内容数学公式的推导非常非常多,一环扣一环,所以我尽量从中学数学的角度,尽可能直观的展现整个思维过程,读者们最好在了解整...原创 2019-11-16 09:37:55 · 438 阅读 · 0 评论 -
机器学习(5):提升算法(boosting algorithm)
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文将讲解有关提升算法的知识,主要包括提升算法的基本思想,以及几个具体的提升算法——AdaBoost算法、梯度提升决策树。以及梯度提升、加法模型和前向分步算法等内容。在本文中会先给出每个算法的思想和算法流程,最后再对其中用到的某些定义做总结。<!...原创 2019-11-16 09:37:05 · 524 阅读 · 0 评论 -
机器学习(4):决策树和随机森林
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文将讲解决策树和随机森林的基本思想,以及信息增益、信息增益率(比)、Gini系数等理论部分的内容,此外还有决策树的剪枝等内容。该部分内容主要是定义比较多,算法思想并不是很难。<!--more-->本文主要是依据李航老师的《统计学习方法》和邹...原创 2019-11-16 09:35:48 · 596 阅读 · 0 评论 -
机器学习(3):聚类算法之K均值算法、层次聚类和密度聚类
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文主要讲解有关聚类的相关算法,包括K均值聚类、层次聚类以及密度聚类等,除此之外,还会讲解聚类算法中的一些基本概念,以及聚类算法效果评判的一个标准——轮廓系数。<!--more-->本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习...原创 2019-11-16 09:34:40 · 1335 阅读 · 0 评论 -
机器学习(2):K近邻(KNN)算法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文将讲解有关K近邻算法的相关知识,主要从算法思想、KNN算法三大基本要素以及KNN算法的实现之kd树来做介绍。<!--more-->本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基...原创 2019-11-16 09:33:33 · 138 阅读 · 0 评论 -
机器学习(1):线性回归、Logistic回归和softmax回归
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客zuzhiang.cn,以及我的github。本文主要讲解线性回归、Logistic回归以及softmax回归的相关知识。本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法请参考文章:机器学习概述及基本概念。在用到的时候就不再一一解释...原创 2019-11-16 09:31:46 · 413 阅读 · 0 评论