- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 L1正则化求导中的一个式子的理解proxh(x)=argminu(t||X||1+1/2||u−x||22)二范数平的和一范数求和的极小值取值的理解
||X||1为一范数，||u−x||22为二范数的平方。因为是二范数的平方，所以每一维的x值互不相关，一次只要求一维下的最小值就可以了，一维下的最小值，是一个二次函数和绝对值函数的关系问题，如下图所示：当x远大t时，在二次函数图像的中轴左侧，因为线性函数为递减，二次函数为递增，但是刚开始增的幅度很小，所以函数值下降，但后来增的幅度很大，所以最小值一定出现在二次函数中轴和y轴之间，且取得最小值的
2018-01-24 10:53:54
2043
原创 EM算法的理解
参考《EM算法详细例子+推导》这一步求导的结果，应该就是最大似然的方法求出“斯特”值，也就EM算法的更新步骤。第二个不等式成立的原因是，极大似然求出的“斯特t+1”值，更价接近"斯特t"所构成分布，所以“斯特t+1”下的大于“斯特t”下的这个值。
2018-01-21 12:13:51
240
原创 Batch Normalization在CNN中的原理，nb与lrb的区别
参靠《Batch Normalization 学习笔记》通过上面的学习，我们知道BN层是对于每个神经元做归一化处理，甚至只需要对某一个神经元进行归一化，而不是对一整层网络的神经元进行归一化。既然BN是对单个神经元的运算，那么在CNN中卷积层上要怎么搞？假如某一层卷积层有6个特征图，每个特征图的大小是100*100，这样就相当于这一层网络有6*100*100个神经元，如果采用BN，就会有
2018-01-16 21:25:05
949
转载 Batch Normalization导读
http://blog.csdn.net/malefactor/article/details/51476961/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林
2018-01-15 09:16:04
126
原创 数据白化处理对原始数据X做的变换的理解
当每个样本都除以根号“莱姆的“后，其实就相当于矩阵A变成了，A/（莱姆的），这样特征值也就变成了原来的1/（莱姆的），也就是特征值变成了 1 。其中 v 是协方差矩阵的单位特征向量，t i为每一个样本（多维的）在这个向量上的投影，然后再进行特征值“归一化“，根据第一个式子，这个莱姆的其实就是方差，因此这样做的结果就是，通过对每一个样本做变化，变换后的样本是一个方差为一，均值为零的样本集。...
2018-01-14 10:19:17
558
转载 协方差矩阵的几何解释
在本文中，我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。在《为什么样本方差除以N-1？》的文章中，我们会讨论方差的概念，并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差（方差的平方根）提供了数据在特征空间上传播多
2018-01-13 22:30:48
541
原创 白噪声数据，通过一个协方差矩阵分解的缩放和旋转变换后，变幻后的数据的协方差矩阵为T*T'
白噪声数据X’，通过一个协方差矩阵特征值分解的缩放和旋转变换后，变幻后的数据X的协方差矩阵为T*T'。
2018-01-13 22:20:44
1876
random forest-matlab C4.5
2018-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人