算法
leo_fighting
这个作者很懒,什么都没留下…
展开
-
dp-novice-to-advanced
原文:http://hawstein.com/2013/03/26/dp-novice-to-advanced/前言本文翻译自TopCoder上的一篇文章:Dynamic Programming: From novice to advanced,并非严格逐字逐句翻译,其中加入了自己的一些理解。水平有限,还望指摘。前言_我们遇到的问题中,有很大一部分可以用动态规划(简称DP)来解...转载 2019-07-10 19:52:33 · 120 阅读 · 0 评论 -
牛顿法-梯度下降法
https://blog.csdn.net/lsgqjh/article/details/791680951. 梯度下降法(Gradient Descent)梯度下降法是最早最简单,也是最为常用的最优化方法。梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方...转载 2019-07-18 16:56:41 · 9670 阅读 · 1 评论 -
Batch Normalization
转载 2019-09-29 10:59:37 · 81 阅读 · 0 评论 -
BN LN IN GN 使用 Numpy 简单实现
Table of ContentsBNLNINGNINFERENCEBNfeature map:包含 N 个样本,每个样本通道数为 C,高为 H,宽为 W。对其求均值和方差时,将在 N、H、W上操作,而保留通道 C 的维度。具体来说,就是把第1个样本的第1个通道,加上第2个样本第1个通道 ...... 加上第 N 个样本第1个通道,求平均,得到通道 1 的均值(注意是...原创 2019-07-25 20:30:27 · 1823 阅读 · 0 评论 -
TopK问题算法详解
面试中,TopK,是问得比较多的几个问题之一,到底有几种方法,这些方案里蕴含的优化思路究竟是怎么样的,今天和大家聊一聊。画外音:除非校招,我在面试过程中从不问TopK这个问题,默认大家都知道。问题描述:从arr[1, n]这n个数中,找出最大的k个数,这就是经典的TopK问题。栗子:从arr[1, 12]={5,3,7,1,8,2,9,4,7,2,6,6}这n=1...转载 2019-08-09 14:22:26 · 3531 阅读 · 0 评论 -
彻底理解BP算法
本文内容1.最简单的神经网络2. 前向传播3.计算损失4. 反向传播1.最简单的神经网络如下图所示一个简单神经网络,包括2个输入,2个隐层神经元,2个输出,输入和隐层,隐层和输出之间通过权重W*连接,不考虑使用偏置.假设 输入 l1 = 0.2, l2 = 0.3; O1目标输出是0, O2目标输出是1; 权重 w1 = 0.1, w2 = ...原创 2019-08-21 23:39:29 · 567 阅读 · 0 评论