![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学概念
GZKPeng
深度学习有四境:调参炼丹境,理论创新陆地神仙境,张量运算剑仙境,无所不通无上剑仙境。
人若无名,便可勤奋练剑
展开
-
ML、DL基础概念再回顾
综述性质大作 《Relational inductive biases, deep learning, and graph networks》初闻不知曲中意,再闻已是曲中人,刚开始学习的时候对一些概念只是理解,但不明白其提出的意义,时隔多年,自发性想了解其中原因,遂再次回顾。深度学习的归纳偏置是什么?原创 2022-09-20 11:30:21 · 130 阅读 · 0 评论 -
坐标点、坐标轴旋转
围绕原点的旋转如下图, 在2维坐标上,有一点p(x, y) , 直线opの长度为r, 直线op和x轴的正向的夹角为a。 直线op围绕原点做逆时针方向b度的旋转,到达p’ (s,t)s = r cos(a + b) = r cos(a)cos(b) – r sin(a)sin(b) (1.1)t = r sin(a + b) = r sin(a)cos(b) + r cos(a) sin(b) (1.2)其中 x = r cos(a) , y = r sin(a)代入(1.1), (1.2原创 2022-05-30 16:58:09 · 2005 阅读 · 0 评论 -
卡特兰数
(1)卡特兰数满足以下性质:令h(0)=1,h(1)=1,catalan数满足递推式。h(n)= h(0)*h(n-1)+h(1)*h(n-2) + … + h(n-1)h(0) (n>=2)。也就是说,如果能把公式化成上面这种形式的数,就是卡特兰数。当然,上面这样的递推公式太繁琐了,于是数学家们又求出了可以快速计算的通项公式。h(n)=c(2n,n)-c(2n,n+1)(n=0,1,2...转载 2019-07-03 15:23:04 · 5476 阅读 · 0 评论 -
民科解释蒙特卡洛法
先看看wiki的解释:蒙特卡罗方法(英语:Monte Carlo method),也称统计模拟方法,是1940年代中期由于科学技术的发展和电子计算机的发明,而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。通常蒙特卡罗方法可以粗略地分成两类:一类是所求解的问题本身具有内在的随机性,借助计算机的运算能力可以直接模拟这种随机的过程。另一种...原创 2019-02-28 15:20:13 · 617 阅读 · 0 评论 -
关于方程的两种解
解析解(analytical solution):就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。用来求得解析解的方法称为解析法〈analytic techniques〉,解析法即是常见的微积分技巧,例如分离变量法等。解析解为一封闭形式〈close...原创 2018-12-13 09:11:19 · 774 阅读 · 0 评论 -
CUHK03和Market1501计算CMC和mAP的方法
Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形,每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序,CMC t...原创 2018-04-17 08:58:00 · 4584 阅读 · 4 评论 -
pytorch 0.4 改动: cannot resize variables that require grad
在pytorch0.3中做过一些关于张量求梯度的工作,目的是扩展一下pytorch的module,今天升级pytorch0.4,发现原先的代码不可用,报错如下: RuntimeError: cannot resize variables that require grad在pytorch 0.3中,允许对求梯度的变量改变size,改变size后,再次求偏导,梯度置0。实际上这是一个逻辑上的b...原创 2018-06-13 18:43:36 · 4198 阅读 · 3 评论 -
转载:机器学习中的范数规则化之(二)核范数与规则项参数选择
三、核范数 核范数||W||*是指矩阵奇异值的和,英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说,可能大家就会陌生点。那它是干嘛用的呢?霸气登场:约束Low-Rank(低秩)。OK,OK,那我们得知道Low-Rank是啥?用来干啥的? 我们先来回忆下线性代数里面“秩”到底是啥?举个简单的例子吧: 对上面的线性方程组,第一个方程和第二个方程...转载 2018-05-14 11:10:33 · 220 阅读 · 0 评论 -
转载:机器学习中的范数规则化之(一)L0、L1与L2范数
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”,也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊!因为参数太多,会导致我们的模型复杂度上升,容易过拟合,也就是我们的训练误差会很小。但训练误差小并不是我们的最终...转载 2018-05-14 11:08:56 · 258 阅读 · 0 评论 -
转载孟岩老师的:理解矩阵
前不久chensh出于不可告人的目的,要充当老师,教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显,chensh觉得,要让自己在讲线性代数的时候不被那位强势的学生认为是神经病,还是比较难的事情。可怜的chensh,谁让你趟这个地雷阵?!色令智昏啊!线性代数课程,无论你从行列式入手还是直接从矩阵入手,从一开始就充斥着莫名其妙。比如说,在全国一般工科院系教学中应用最广泛的...转载 2018-05-19 20:58:56 · 525 阅读 · 0 评论 -
从拉普拉斯讲到谱聚类
从拉普拉斯矩阵说到谱聚类0 引言 11月1日上午,机器学习班第7次课,邹博讲聚类(PPT),其中的谱聚类引起了自己的兴趣,他从最基本的概念:单位向量、两个向量的正交、方阵的特征值和特征向量,讲到相似度图、拉普拉斯矩阵,最后讲谱聚类的目标函数和其算法流程。 课后自己又琢磨了番谱聚类跟拉普拉斯矩阵,打算写篇博客记录学习心得, 若有不足或建议,欢迎随时不吝指出,thanks。1 矩阵基础 ...转载 2018-05-19 20:42:34 · 321 阅读 · 1 评论 -
softmax、softmax损失函数;交叉熵、交叉熵损失函数
原创 2018-05-01 10:30:08 · 3203 阅读 · 0 评论 -
独立、条件独立、马尔科夫性
转载 2018-04-12 11:20:40 · 3632 阅读 · 0 评论