数学
文章平均质量分 66
Lucky和小白
搬砖工,ML学渣
展开
-
[机器学习]最大似然估计
ref1.《模式分类》(Richard O. Duda)chapter31. 最大似然估计: 把待估计参数看作是确定性的量,只是取值未知; 最佳估计:使得 产生已观测样本(训练样本)的概率为最大 的值 。过程:样本集D中的样本独立同分布,参数 theta,求使得p(D|theta)的值最大的theta,p(D|theta)看作是关于theta的函数,似然函数 l(theta)=ln ...原创 2017-11-14 14:25:01 · 699 阅读 · 0 评论 -
[数学]期望和平均值有什么区别
ref1:概率论与数理统计(陈希孺),ch3.1ref2: 概率论与数理统计(浙大第四版) ch4.11.期望期望是个确定的数,是根据概率分布得到的。(ref1/ref2中进行了详细的推导,涉及级数、积分等等)不管进不进行实验,期望都可以求出来。数学期望,又称为均值,即"随机变量取值的平均值"之意,这个平均是指以概率为权的加权平均。数学期望E(X)完全是由随机变量X的概率分布所确定。2.平均数平...原创 2017-11-13 22:58:42 · 38032 阅读 · 1 评论 -
假设检验
ref1:概率论与数理统计(陈希孺),ch3.1ref2: 概率论与数理统计(浙大第四版) ch4.1假设检验问题: 在总体的分布函数完全未知,或只知形式不知参数 的情况下, 为了推断总体的某些未知特性,提出的关于总体的假设。(ref2)1. "假设"或“统计假设”的含义(ref1)“假设”是指 命题正确与否有待通过样本去判断 的陈述。2. 原假设H...原创 2018-04-30 16:31:03 · 1104 阅读 · 0 评论 -
[数学]有趣的数学
数学其实很有趣,有些文章让人读了耳目一新,这些文章摒弃了繁杂的证明,更符合直觉!看到好玩有趣的闪光点再来更新。1. 指数函数和自然对数ref: 原创2017-11-14 赵一帆 算法与数学之美 1)e的真正意义是什么?e是连续增长系统的极限增量。作者 从细菌的繁殖,本金产生利息的角度 进行理解(用更小的增长率可以获取更多的金钱)。e是一个时间单位内的增长量,在每一个细小的步骤中所创造的利息也会增长...原创 2017-11-24 08:50:58 · 1513 阅读 · 0 评论 -
[机器学习]QCQP 和 拉格朗日乘子法
前言:面试被问到:QCQP问题如何求解,答:先转换成lagrange乘子法,被追问lagrange乘子法的原理是什么?尴尬了,答不出...... 不懂处待续1. 如何理解lagrange乘子法下面2个解释相似,直观,均来自知乎 https://www.zhihu.com/question/38586401本质就是梯度要相同1)拉格朗日乘数法(Lagrange multiplier)有很直观的几何意...原创 2017-12-01 19:57:29 · 11012 阅读 · 0 评论 -
[机器学习]L21,L2,核范数
前言:因为目前所做的鲁棒凸聚类用到了L1范数,故上一篇文章Lasso重点关注了lasso及其与岭回归的比较,此文将整合各种范数。1. 范数的公式 ref[1]范数就是关于向量或者矩阵的函数,得到的是一个数值。(大致来自知乎)1)向量范数1-范数:,即向量元素绝对值之和。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方。∞-范数:,即所有向量元素绝对值...原创 2017-11-24 12:17:17 · 24969 阅读 · 0 评论 -
[机器学习]Lasso,L1范数,及其鲁棒性
前言:本文包括以下几个方面,1. 介绍Lasso,从最初提出Lasso的论文出发,注重动机;2. L1和L2范数的比较,注重L1的稀疏性及鲁棒性;3. 从误差建模的角度理解L1范数1. lasso最早提出Lasso的文章,文献[1],已被引用n多次。注:对于不晓得怎么翻译的英文,直接搬来。1) 文献[1]的动机:在监督学习中,ordinary least squares(OLS) estimate...原创 2017-11-23 15:30:08 · 7264 阅读 · 0 评论 -
[机器学习]梯度下降+牛顿法
梯度下降+牛顿法 看似简单,但了解它的背后推导吗?1. ref1: 《模式分类》(Richard O.Duda) ch5.4.2 直接给出了梯度下降法的公式(12) 和 算法1; 再将 梯度下降法式子(12) 带入 泰勒二阶展开式(13) -> 给出 计算步长 的一种方法,见page185式(14); 牛顿法...原创 2017-11-18 14:03:59 · 338 阅读 · 0 评论