小白

       每次看到范数总感觉似曾相识又解释不清，鉴于上周苏宁面试被问了L1范数和L2范数，回答不清，故决定好好梳理一通。1. 知乎大神，理解的角度1）作者：Faaany链接：https://www.zhihu.com/question/21868680/answer/136376374来源：知乎范数的本质是距离，存在的意义是为了实现比较。范数其实是一个函数，它把不能比较的向量转换成可以比较的实...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...logRegres.py : #http://blog.csdn.net/sinat_17196995/article/details/57418519from numpy import *# 5-1 gradient ascent algorithmdef loadDataSet(): da...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...1. svmMLiA.py : '''ref:http://blog.csdn.net/puqutogether/article/details/44565093'''from numpy import *# 6-1def loadDataSet(filename): dataMat=[];l...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...boost.py : from numpy import *def loadSimpData(): datMat=matrix([[1.,2.1], [2.,1.1], [1.3,1.], [1.,1.], [2.,1.] ]) classLabels=[1.0,1.0,-1.0,-1...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...regression.py : from numpy import *# 8-1 线性回归def loadDataSet(filename): numFeat=len(open(filename).readline().split('\t'))-1 #number of features of...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...1. regTrees.py :#CART regression tree# python3修改了部分代码 http://blog.csdn.net/sinat_17196995/article/details/69621687# 9-1from numpy import *# 获取数据集de...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...kMeans.py# 10-1 聚类支持函数from numpy import *def loadDataSet(fileName):      #general function to parse tab -delimited floats    dataMat = []          ...

Latent Dirichlet Allocation（LDA）是一个在文本建模中很著名的模型，可以用于浅层语义分析，在文本聚类中是一个很有用的模型。即在仅观察到文档词语的条件下，挖掘出文本所属的主题等一系列信息。要求：读取属于2个主题的多篇文章，进行相关分析。一、          数据本实验数据取自30篇论文的摘要部分，这些论文的主题为co-clustering或者CCA。用这30个txt文件...

要求：用EM算法实现基于GMM的聚类算法。一、实验数据参考[1] 3.3.2章节。由两个二维高斯分布混合生成1000个数据，混合系数分别是0.4、0.6，均值和方差如下：mu1=[-2,-2]sigma1=[1.2, 0.5, 0.5, 1]mean2=[2,2]sigma2=[1.5, 0.7, 0.7, 1]二、实验过程、结果与分析2.1 数据散点图 2.2 用mclust包实现R语言自带mc...

交叉验证主要用于建模应用中，即在给定的建模样本中，拿出大部分样本进行训练，留小部分样本在刚建立的模型上进行测试。在运行kmeans等聚类算法时需要设定聚类数目，但聚类数目一般难以预测，交叉验证可以解决这一问题。一、          数据选取R语言自带的iris数据集，共3个聚类。数据共150个，每个样本有4个特征。由于数据带有标号，故删去Species列。二、          实验过程、结果与...

研一机器学习课程，外教布置的作业。当时写代码、实验结果分析的水平真是“青涩”啊......一. 题目：Implement a classifier for characters L and I using the discrete perceptron learning algorithm. You may use any implementation.Specifications:·      ...

相关博客和代码很多很多，本文主要记录 学习过程中遇到的问题 + 可供参考的链接 和 博客地址。1. 书上用的python 2.7，我用的python 3.6，导致代码不可照搬。作为一个python小白，只能去搜寻众网友的3.6版本代码啦。2. source code for book 下载地址 https://github.com/EddieXin/machinelearningi

knn算法（最近邻算法）是一种用于分类和回归的非参数统计方法。knn算法的核心思想是“近朱者赤，近墨者黑”，本实验用knn算法实现了分类（某种意义上的聚类，如下图）。一、        算法描述： 假设共有N个数据点，度量任意两个数据点之间的距离，构成N*N距离矩阵。 数据划分为训练集和测试集，训练集数据标号已知，测试集数据标号未知。 对测试集中任一数据点，由距离矩阵求出训练集中（邻居取自已经正确...

每天学习一点点，做个小笔记或随想。1. 专治选择综合征-Bandit算法 来自（2018.1.2  陈开江 AI科技大本营 ）1）Bandit来自 K摇臂赌博机K摇臂赌博机 -- 《机器学习》周志华 ch16.2，属于强化学习（1）Exploration-Exploitatin dilemma仅探索：仅获知每个摇臂的期望奖赏仅利用：仅为执行奖赏最大的动作（2）对 探索-利用 进行折中1是 e-贪心...

扩散映射（diffusion map）本文出发点： 在论文<constraints as features>中，将 不连约束 的添加 转为 特征空间的增广，用到了样本在扩散空间的分布，而扩散空间的分布是由扩散映射得到的。注：蓝色是我的想法，不一定正确扩散映射是一种降维方法1. 其通过 整合数据的局部几何关系 揭示 数据集在不同尺度的几何结构。2. 与PCA (principal com...

在仅知道 样本距离矩阵 的情况下，如何恢复 样本的相对位置？用MDS方法解决此问题！1. 推导及MDS过程，参看链接：MDS方法的推导特征空间恢复到几维都可以。2. MDS是一种降维方法：MDS致力于将数据嵌入到一个低维空间，在该低维空间中，样本对之间的距离得到保持。[1]【参考】[1] De la Porte J, Herbst B M, Hereman W, et al. An introdu...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...bayes.py：#refer: http://blog.csdn.net/sinat_17196995/article/details/57412474from numpy import *#4-1#dataset，每行是一个文档def loadDataSet():    postingLi...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...knn.py : # 详细的带注释程序可参考：http://blog.csdn.net/sinat_17196995/article/details/55052174from numpy import *import operator#----------------------------d...

把代码保存于此，python3实现，详解就参考《机器学习实战》（Peter Harrington）啦...1. trees.py#详细注释： https://www.cnblogs.com/zy230530/p/6813250.html# 3-1from math import logdef calcShannonEnt(dataSet): numEntries=len(dataSet) labe...

熵（entropy）1. 为何总结        这周三开组会，师兄所做报告的公式中涉及熵的概念。        老板一句话从直觉意义上解释熵: 离散分布中，能量仅仅集中在少数点上，熵就低。2. 熵的物理意义 来源：wikipedia    1）化学及热力学         当总体的熵增加，其做功能力也下降，熵的量度正是能量退化的指标。熵亦被用于计算一个系统中的失序现象，也就是计算该系统混乱的程度...

浅谈人工智能：现状、任务、构架与统一 | 正本清源 2017-11-02 朱松纯（说明： 老板极力推荐我们阅读这篇综述性的文章，朱老师写的妙趣横生，几个触动点记录如下）1.人工智能学科，归纳为六个，当成战国七雄，把其中2雄合并成（5）： （1）计算机视觉（暂且把模式识别，图像处理等问题归入其中）、 （2）自然语言理解与交流（暂且把语音识别、合成归入其中，包括对话）、 （3）认知与推理（包含各种物理...

ref1.《模式分类》（Richard O. Duda）chapter31. 最大似然估计：   把待估计参数看作是确定性的量，只是取值未知；    最佳估计：使得  产生已观测样本（训练样本）的概率为最大  的值 。过程：样本集D中的样本独立同分布，参数 theta，求使得p(D|theta)的值最大的theta，p(D|theta)看作是关于theta的函数，似然函数 l(theta)=ln ...

ref: 《模式分类》（Richard O. Duda）chapter 31. 贝叶斯估计：   把待估计的参数看成是符合某种先验概率分布的随机变量。   最佳估计：对样本进行观测的过程，就是把先验概率密度转化为后验概率密度，                     这样就利用样本的信息修正了对参数的初始估计值。2.具体推导过程贝叶斯估计的核心：由先验概率、类条件概率密度，计算后验概率。已有样本集...

PCA(主成分分析)属于无监督学习的范畴，是一种降维方法。PCA选取包含信息量最多的方向对数据进行投影。1. 推导PCA的2种方法（需回顾）1）从重建误差最小化的角度2）从方差最大化的角度（详细推导见机器学习圣经 PRML ）。2. 求解方法求解特征值和特征向量的方法分为 一般方法 和 使用技巧的方法1）普通方法 直接 特征分解，求特征值和特征向量。2）技巧--svd分解3. 鲁棒PCA 我的硕士...

前言：面试被问到：QCQP问题如何求解，答：先转换成lagrange乘子法，被追问lagrange乘子法的原理是什么？尴尬了，答不出...... 不懂处待续1. 如何理解lagrange乘子法下面2个解释相似，直观，均来自知乎 https://www.zhihu.com/question/38586401本质就是梯度要相同1）拉格朗日乘数法（Lagrange multiplier）有很直观的几何意...

前言：      EM算法总是跟高斯混合模型联系在一起，再延伸到最近所看论文有所涉及，      唉，貌似总是有点晕，故而总结一下。1. EM算法参考：斯坦福大学机器学习课程课件（吴恩达）notes 8.pdf推导过程特别具体，基于最大似然估计、Jensen不等式。重点关注公式(2)(3)，将expection最大化，很好地解释了maximize expection--EM 2. 高斯混合聚类1）...

1. 回顾  回顾线性回归和ridge回归，均可用梯度下降+最小二乘法优化，详见[1]的1，2部分，优化简单。 此外，关于Lasso、L2正则化等的解释 参见本人的另一篇博文，但未涉及优化。2. Lasso的优化目标表达式： (a) Lasso回归有时也叫做线性回归的L1正则化，求解的主要问题是损失函数不连续可导，故最小二乘、梯度下降等方法均失效。那么，如何优化呢？1) 坐标下降法(coordin...

总述：1. 课程+课件，学习位置： -- 1）网易云课程，2） coursera（若视频无法加载 或者 测验区图片不显示，解决方法 https://jingyan.baidu.com/article/6f2f55a14059eeb5b93e6cab.html）2. 作业 -- 在coursera上查看作业+写作业，但是不能提交（因为没有缴费，只是注册了couresera的帐号）；

前言：因为目前所做的鲁棒凸聚类用到了L1范数，故上一篇文章Lasso重点关注了lasso及其与岭回归的比较，此文将整合各种范数。1. 范数的公式  ref[1]范数就是关于向量或者矩阵的函数，得到的是一个数值。（大致来自知乎）1）向量范数1-范数：，即向量元素绝对值之和。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。∞-范数：，即所有向量元素绝对值...

前言：本文包括以下几个方面，1. 介绍Lasso，从最初提出Lasso的论文出发，注重动机；2. L1和L2范数的比较，注重L1的稀疏性及鲁棒性；3. 从误差建模的角度理解L1范数1. lasso最早提出Lasso的文章，文献[1]，已被引用n多次。注：对于不晓得怎么翻译的英文，直接搬来。1) 文献[1]的动机：在监督学习中，ordinary least squares(OLS) estimate...

      梯度下降+牛顿法 看似简单，但了解它的背后推导吗？1. ref1: 《模式分类》（Richard O.Duda）   ch5.4.2  直接给出了梯度下降法的公式(12) 和 算法1；                 再将  梯度下降法式子(12) 带入 泰勒二阶展开式(13) -> 给出 计算步长 的一种方法，见page185式(14)；                 牛顿法...

前言（总结本文的原因）：1.之前听闻阿里面试官很喜欢问gbdt，gradient boosting descent tree2. 统计学课学了boosting和bagging，总搞不清2个单词的区别一、boosting  参考[1] chap8.11. 背景及定义：在PAC（probably approximately correct）学习框架中，一个概念是强可学习的充要条件是这个概念是弱可学习的...

一、理论ref3 chapter 9ref1 chapter 41. 总是搞不清几种决策树的名字名字   划分选择ID3     信息增益C4.5   增益率            与ID3类似，校正了ID3偏向于选择取值较多的特征的问题CART 基尼系数        学的是二叉树，用于 回归（如最小二乘回归树）+分类2. 决策树学习三个步骤：特征选择，决策树的生成，决策树的修剪3.3. 剪枝：...

一、国际期刊会议据悉，CCF（中国计算机学会）是以A、B、C类划分（A最好）；而中科院是以一、二、三区划分（一最好）1. CCF分类以下网址是人工智能方面的分类（如下图所示）：http://history.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2903940690839【ctrl + F 】，可以搜索对应期刊的等级，表格中的网址给出了相应期刊的官方地...

     在机器学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句--L1范数比L2范数鲁棒。    “鲁棒”的英文是robustness，其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2]，有志之士可作研究。      本人的硕士论文对算法鲁棒性有所涉及，并偏向聚类算法的鲁棒性，但也只是学到了一点皮毛，考虑到网上的相关博文极少，故在此记录一番。1.   Huber...