- 博客(13)
- 收藏
- 关注
RSS订阅原创 lua，torch，nn模块入门笔记
https://blog.csdn.net/hejunqing14/article/details/52162970
2018-04-22 18:13:50
990
转载 深度学习优化算法之SGD
引言最优化问题是计算数学中最为重要的研究方向之一。而在深度学习领域，优化算法的选择也是一个模型的重中之重。即使在数据集和模型架构完全相同的情况下，采用不同的优化算法，也很可能导致截然不同的训练效果。梯度下降是目前神经网络中使用最为广泛的优化算法之一。为了弥补朴素梯度下降的种种缺陷，研究者们发明了一系列变种算法，从最初的 SGD (随机梯度下降) 逐步演进到 NAdam。然而，许多学术界最为前沿的文...
2018-04-18 18:25:51
4065
转载 Adam：一种随机优化方法
简介： Adam 这个名字来源于 adaptive moment estimation，自适应矩估计。概率论中矩的含义是：如果一个随机变量 X 服从某个分布，X 的一阶矩是 E(X)，也就是样本平均值，X 的二阶矩就是 E(X^2)，也就是样本平方的平均值。Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。Adam 也是基于梯度下降的方法，但...
2018-04-18 18:11:16
1223
原创 三森すずこさん コール・曲色 '17.04
みもりんこと三森すずこさんのライブ知識をまとめて行けたらなと。もはや自分用メモ■近況（2017/04/18）早速今年のライブが決定しましたしかも幕張2Days！（県民優遇しよ？) 当たったらよろしくお願いします。サキワフハナ追加■コール・曲色ライブBD買って見たほうが早い笑＜好きっ＞ 色は公式・グローリー！ ：BLUE （ﾊｲ!ﾊｲ!ﾊｲ!ﾊｰｲ! x3 かっとばせーす・ず・こ！） これを曲初めと...
2018-04-09 16:48:14
1633
原创 Pytorch --- cudnn.benchmark
cudnn..benchmark 在程序刚开始加这条语句可以提升一点训练速度，没什么额外开销，一般都会加。
2018-04-08 14:21:51
7205
1
原创 Pytorch --- argparse
一、简介：argparse是python用于解析命令行参数和选项的标准模块，用于代替已经过时的optparse模块。argparse模块的作用是用于解析命令行参数.二、使用步骤：1：import argparse2：parser = argparse.ArgumentParser()3：parser.add_argument()4：parser.parse_args()解释：首先导入该模块；然后创...
2018-04-08 14:06:43
1557
原创 dcgan.torch/main.lua
require 'torch' require 'nn' require 'optim' opt = { dataset = 'lsun', -- imagenet / lsun / folder batchSize = 64, loadSize = 96, fineSize = 64, nz = 100, -- # of dim for Z ngf ...
2018-04-07 22:34:57
598
1
转载 神经网络中，加上bias是如何让网络变得更灵活
reference：https://www.zhihu.com/question/68247574实际上，bias相当于多了一个参数。在增加网络少量拟合能力的情况下，bias和其它普通权值相比无论前向还是后向，计算上都要简单，因为只需要一次加法。同时，bias与其它权值的区别在于，其对于输出的影响与输入无关，能够使网络的输出进行整体地调整，算是另一维自由度吧。放在二维上，权值相当于直线的斜率，而b...
2018-04-07 22:11:11
8142
原创 epoch， iteration， batchsize相关说明
batchsize：中文翻译为批大小（批尺寸）。简单点说，批量大小将决定我们一次训练的样本数目。batch_size将影响到模型的优化程度和速度。为什么需要有 Batch_Size :batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 Batch_Size的取值：全批次（蓝色）如果数据集比较小我们就采用全数据集。全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值...
2018-04-04 20:42:32
211
转载 Rectified Linear Unit (ReLU)
在神经网络中，常用到的激活函数有sigmoid函数,双曲正切(hyperbolic tangent)函数f(x) = tanh(x)。今天要说的是另外一种activation function，rectified linear function线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation fun...
2018-04-04 14:55:38
9959
1
转载 Deep Learning with Torch
Reference:https://github.com/soumith/cvpr2015/blob/master/Deep%20Learning%20with%20Torch.ipynbDeep Learning with Torch: the 60-minute blitzGoal of this talkUnderstand torch and the neural networks pac...
2018-04-03 20:51:35
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人