机器学习
zxyhhjs2017
这个作者很懒,什么都没留下…
展开
-
机器学习---之sigmoid函数为什么用于逻辑回归
注:逻辑回归的sigmoid函数由来是通过贝叶斯变换而来的,通过一系列的假设变化来的,p(Y)服从伯努力分布,大于0.5就是第一类,小于则是第二类,然后那个z0=wx+w0是一个决策边界,这个决策边界通过最大似然估计和梯度下降法来决定,并不是一个回归的过程。原创 2017-12-19 14:51:10 · 1483 阅读 · 0 评论 -
convariate shift
一、什么是covariate shift?在论文中经常碰到covariate shift这个词,网上相关的中文解释比较少。你可能会在介绍深度学习Batch Normalization方法的论文到中看到covariate shift这个词,并且所有看过这篇论文的或者实际做过工程的人,都知道BN这种归一化手段很好用,可以避免covariate shift那么covariate shift到底是什么?不...转载 2018-03-01 10:07:23 · 1554 阅读 · 0 评论 -
机器学习之----kmeams++
kmeans++前一阵子有一个学弟问kmeans算法的初始中心点怎么选,有没有什么算法。我让他看看kmeans++,结果学弟说有地方没看懂。然后,他不懂的地方,我给标注了一下。下面是网上的资料,我对画线的地方做了标注。 k-means++算法选择初始seeds的基本思想就是:初始的聚类中心之间的相互距离要尽可能的远。wiki上对该算法的描述如下:从输入的数据点集合中随机选...转载 2018-10-11 14:43:32 · 1474 阅读 · 0 评论 -
机器学习之---马尔可夫随机场实例
本节主要介绍马尔科夫的随机场模型以及其用于图像的分割算法中。基于马尔科夫的随机场(MRF)的图像分割是一种基于统计的图像分割算法,其模型参数少,空间约束性强,使用较为广泛。首先了解一下马尔科夫模型,纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关,而与再之前的状态没有关系,比如今天天气好坏只与昨天天气有关,而与前天乃至大前天都没有关系。符合这样的一种特性的事物认为其具...转载 2018-10-11 20:34:27 · 2110 阅读 · 0 评论 -
机器学习之---概率无向图
1. 前言前面看了概率有向图模型,必然对无向图模型也要研究一下。而且这个概率无向图模型对学习RBM有很大的帮助,它关系到能量函数的来源,所以还是看看吧。参考资料依旧是概率有向图模型中参考的三个资料。有向图将一组变量上的联合概率分布分解为局部条件概率分布的乘积;同时定义了一组条件独立的性质,根据图进行分解的任何概率分布都必须满足这些条件独立性质(也就是有向图中的那三种拓扑结构)。无向图也...转载 2018-10-08 16:59:22 · 1471 阅读 · 0 评论 -
机器学习之---生成模型和判别模型
监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类; 生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。举个例子:若分类目标是对图...转载 2018-10-08 17:27:56 · 391 阅读 · 0 评论 -
机器学习---之马尔可夫随机场
http://blog.csdn.net/pipisorry/article/details/78396503马尔可夫网马尔科夫网是使用无向图描述的图模型,是刻画X上联合分布的一种方法,表示一个分解方式,也表示一组条件独立关系。马尔科夫随机场( Markov random field , MRF),也被称为马尔科夫网络( Markov network )或者无向图模型( undirecte...转载 2018-10-08 17:31:52 · 1967 阅读 · 0 评论 -
机器学习之---class-aware 和 class-agnostic
For a class-aware detector, if you feed it an image, it will return a set of bounding boxes, each box associated with the class of the object inside (i.e. dog, cat, car). It means that by the time the...转载 2018-10-15 12:36:11 · 2773 阅读 · 0 评论 -
机器学习之---似然与概率
“概率”描述了给定模型参数后,描述结果的合理性,而不涉及任何观察到的数据。抛一枚均匀的硬币,拋20次,问15次拋得正面的可能性有多大? 这里的可能性就是”概率”,均匀的硬币就是给定参数θ=0.5,“拋20次15次正面”是观测值O。求概率P(H=15|θ=0.5)=?的概率。“似然”描述了给定了特定观测值后,描述模型参数是否合理。拋一枚硬币,拋20次,结果15次正面向上,问...转载 2018-10-18 15:00:18 · 277 阅读 · 0 评论 -
机器学习之---马尔可夫随机场的应用
本节主要介绍马尔科夫的随机场模型以及其用于图像的分割算法中。基于马尔科夫的随机场(MRF)的图像分割是一种基于统计的图像分割算法,其模型参数少,空间约束性强,使用较为广泛。首先了解一下马尔科夫模型,纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关,而与再之前的状态没有关系,比如今天天气好坏只与昨天天气有关,而与前天乃至大前天都没有关系。符合这样的一种特性的事物认为其具...转载 2018-10-10 15:45:51 · 2593 阅读 · 0 评论 -
机器学习之----目标检测与目标跟踪的区别
1.目标检测就是检测出一个图片或者一个视频中目标的位置(静态或者动态)如yolo检测目标2.目标追踪是给视频中第一帧目标以及它的位置,然后跟踪这个目标,以及预测它的轨迹,(如果出现一些遮挡,也可以根据轨迹来跟踪这个目标,假如是yolo检测出的目标,有时候还会出现丢帧的情况,如果用了跟踪算法,那么即使丢帧了,也可以跟住目标而不丢失,而且如果使用yolo,虽然给定了目标的位置,但是如果同一类的目标...原创 2018-10-17 19:46:23 · 8593 阅读 · 0 评论 -
机器学习之---CRF与MRF
注:1.条件随机场,比如线性随机场,全连接随机场中的线性和全连接指的是像素与像素之间的关系,可以是线性的也全连接的,与马尔可夫性并不相关,马尔可夫性的假设仅仅针对条件随机场的结果而言的。 2.而马尔可夫随机场是输入就是马尔可夫性了,条件随机场是结果具有马尔可夫性而输入并不一定具有马尔可夫性,至于势函数的具体的区别,我还没想明白。转自:http://www.jianshu.c...转载 2018-10-29 09:30:10 · 1532 阅读 · 0 评论 -
概率分布,独立同分布在图像分类与检测中到底代表什么?
概率分布,与图像到底是什么关系?举个例子就明白了:比如一个训练集的图像,里面有很多张图像,假如要检测一张图像是不是属于猫,p(x)就是边缘概率,其中x代表随机事件,这个事件可以映射成一个具体的值,比如0,也就变成了随机变量,假如这个随机事件代表一张图像里面有两个耳朵出现的概率,假如这个训练集的图像里的每一张图片要不就是猫,要不就是花花草草树木,所以出现两个耳朵的概率就是所有猫的图片除以真个原创 2018-03-01 10:03:09 · 4399 阅读 · 1 评论 -
机器学习---之CRF条件随机场
如何轻松愉快地理解条件随机场(CRF)?milter2017.01.06 15:28* 字数 3222 阅读 20906评论 19喜欢 81赞赏 2理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,我翻译了这篇文章。希望对其他伙伴有所帮助。原文在转载 2018-01-19 17:00:49 · 364 阅读 · 0 评论 -
机器学习---之PCA降维
1. 前言 PCA : principal component analysis ( 主成分分析)最近发现我的一篇关于PCA算法总结以及个人理解的博客的访问量比较高, 刚好目前又重新学习了一下PCA (主成分分析) 降维算法, 所以打算把目前掌握的做个全面的整理总结, 能够对有需要的人有帮助。 自己再看自己写的那个关于PCA的博客, 发现还是比较混乱的, 希望这里能过做好整理。 本文的所有转载 2018-01-25 20:08:50 · 472 阅读 · 0 评论 -
逻辑回归到底是线性的还是非线性的?
转载:https://www.zhihu.com/question/29385169/answer/44177582辛俊波机器学习/数据挖掘/户外/摄影29 人赞同了该回答谢邀。逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid转载 2017-12-19 14:44:21 · 21983 阅读 · 0 评论 -
logistic回归,以及决策边界与回归的区别
1、总述逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来 要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示: 线性回归能对转载 2017-12-19 14:34:43 · 6645 阅读 · 0 评论 -
机器学习---之逻辑回归中损失函数的由来
转载:https://www.zhihu.com/question/47744216宋佳慧爱数学的程序猿19 人赞同了该回答首先,要明确逻辑似地回归为什么要用似然函数方程来求极值。我觉得很大一部分原因在于逻辑斯蒂回归模型本质上是一个“概率模型”。具体可以参看《统计学习方法》中,关转载 2017-12-19 15:01:57 · 3603 阅读 · 0 评论 -
机器学习---之损失函数求最小值为什么不用导数为0的点而用梯度下降法
1.因为,损失函数可能有无限个极值点,你并不知道哪个点可以使损失函数最小,如下图中的损失函数:2.而使用梯度下降法虽然不一定能求导全局最小值,但可以求导局部最小值,也能使损失函数降低为0,如下图所示:3.如果损失函数是凹的或者是凸的时候,一定可以找到全局最优解,这个时候,在训练过程中你可以看到损失函数可能早都为0了,但还是在不断迭代找全局最优解,这个过程可能是无限的,因原创 2017-12-28 20:39:38 · 9826 阅读 · 2 评论 -
极大似然估计
转载:http://blog.csdn.net/zengxiantao1994/article/details/72787849极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式转载 2017-12-19 14:23:49 · 256 阅读 · 0 评论 -
机器学习---之逻辑回归,贝耶斯分类与极大似然估计的联系
一.逻辑回归逻辑回归并不是回归而是分类,逻辑回归就是通过条件概率,推导出的sigmoid函数,(如何推导请看sigomid推导),然后sigmoid函数那个x是未知的,这时候估计这个未知的x就是用极大似然估计了。二.贝耶斯分类贝耶斯分类,就是通过先验概率和类条件概率,而得到后验概率,但是在实际情况中,类条件概率很难求到,所以采用极大似然估计去估计这个 类条件概率里面的参数。三.异同原创 2018-01-16 15:20:55 · 321 阅读 · 0 评论 -
机器学习---之交叉验证的用处与优点
一.评价模型性能交叉验证主要可以用来评估模型的性能,比如说有一个模型,有一个数据集,如果不使用交叉验证,那就是直接将数据放到网络当中去训练,训练结束后,用新的数据来进行测试,来看看这个模型是否好,但是这个模型对这个新的数据测试效果好不代表对其他新来的数据效果就好,也就是你并不知道这个模型泛化能力是否好,是否过拟合,也许你要用很多不同的数据集来测试一下,如果数据集有限的话,就很难评估模型的泛原创 2018-01-16 16:17:44 · 10563 阅读 · 1 评论 -
机器学习---之正则化
作者:陶轻松链接:https://www.zhihu.com/question/20924039/answer/131421690来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。我尽量用通俗一点的话来解答一下楼主的问题,r(d)可以理解为有d的参数进行约束,或者 D 向量有d个维度。咱们将楼主的给的凸优化结构细化一点,别搞得那么抽象,不转载 2018-01-16 16:47:48 · 228 阅读 · 0 评论 -
机器学习---之为什么要对数据进行归一化
一就是特征组合问题,比如房子的长和宽作为两个特征参与模型的构造,不如把其相乘得到面积然后作为一个特征来进行求解,这样在特征选择上就做了减少维度的工作。二就是特征归一化(Feature Scaling),这也是许多机器学习模型都需要注意的问题。有些模型在各个维度进行不均匀伸缩后,最优解与原来不等价,例如SVM。对于这样的模型,除非本来各维数据的分布范围就比较接近,否则必须进行标准化,以免转载 2018-01-24 16:29:43 · 16091 阅读 · 2 评论 -
机器学习---之量纲与无量纲
转载于:百度百科和https://www.zybang.com/question/c82cbd1863502cbe0c7117ff4965f336.html量纲编辑本词条由“科普中国”百科科学词条编写与应用工作项目审核。1.量纲(dimension)是指物理量的基本属性。物理学的研究可定量地描述各种物理现象,描述中所采用的各类物理量之间有着密切的关系,即它们之间具有转载 2018-01-24 18:58:33 · 8346 阅读 · 0 评论 -
机器学习---之PCA为什么使用协防差矩阵
PCA为什么要用协方差矩阵?原创 2015年11月29日 19:04:07标签:PCA/SVD/协方差矩阵/坐标转换 PCA方法是数据降维的重要手段之一,方法比较简单,就是将样本数据求一个维度的协方差矩阵,然后求解这个协方差矩阵的特征值和对应的特征向量,将这些特征向量按照对应的特征值从大到小排列,组成新的矩阵,被称为特征向转载 2018-01-25 20:07:27 · 1202 阅读 · 1 评论 -
机器学习之---EM算法
http://blog.csdn.net/pipisorry/article/details/42550815EM算法有很多的应用,最广泛的就是GMM混合高斯模型、聚类、HMM、基于概率的PLSA模型等等。本文详细讲述EM算法的由来、EM算法的实现思路、EM算法解决PLSA和LDA的方法。概述EM是一种解决存在隐含变量优化问题的有效方法。EM的意思是“Expectation Maxi...转载 2018-10-29 09:38:30 · 439 阅读 · 0 评论