- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Tensorflow2.0对不同层指定学习率
在使用Tensorflow编写深度学习模型的时候往往会考虑对不同的层采用不一样的优化器以及学习率，以下为其中一个案例import tensorflow as tffrom zh.model.mnist.mlp import MLPfrom zh.model.utils import MNISTLoadernum_epochs = 5batch_size = 50learning_ra...
2020-02-06 11:12:48
4047
1
原创 如何在word中高效的引用文献（EndNote）
最近在写毕业论文，由于之前做的很多都是数学相关的工作，而且部分工作都是用英文撰写的。之前一直习惯于用LaTeX写数学相关工作，一方面是其有丰富的论文格式模板，另一方便，用LaTeX写数学公式相当美观而且易用。本来打算毕业论文也用LaTeX写的，但无奈学校并没有提供LaTeX毕业论文模板，自己动手做也挺花时间，于是还是偷懒用了Word来写毕设。这里总结了一些关于毕设中引用文献，和书写数学公...
2020-02-06 11:08:16
18849
原创 在word中插入公式并给公式编号
插入公式和设置编号：在word中插入公式应当说相当简单了，可能你会想到用：插入->公式但该方法插入公式有很大的弊端，比如说，看上去并不是很好看，比如说引用起来不方便，比如说LaTeX支持不全面。所以今天介绍一个我用的word插件叫MathType。第一步、安装直接https://www.mathtype.cn/xiazai.html下载就可，是正版的，只能试用30天，这里用3...
2020-02-06 11:03:47
6205
原创 深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?
深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?深度学习模型训练时候使用dropout实际上只是让部分神经元在当前训练批次以一定的概率不参与更新，这样使得每一轮迭代获得的模型都是不一样的。这个过程一定程度上保持了不同模型之间最优参数设置，使得训练出的每一个模型不至于太差。在预测时候，不使用dropout，但会在权重上都乘上保留概率。最终的输出可以被认为是Bagging...
2020-02-02 21:09:21
5250
1
原创 L1正则L2正则的公式是什么？他们各自的特点是什么（适用场景）？
解释：L1正则由模型的参数的绝对值的和构成，L2范数由模型的参数的平方和构成。L1正则能够有效的1）降低模型的复杂度2）做特征选择这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征，起到特征选择的作用，同时特征维度降低后模型的复杂度也随之降低。所以L1正则适用于特征有相互依赖，且对权重是0或者非0相当敏感的模型。L2正则能降低模型结构风险，防止模型过...
2020-02-01 09:55:25
1151
原创 dropout原理是什么（公式层面）， 为什么要用？
2、dropout原理是什么（公式层面）， 为什么要用？1、dropout是一种常用的防止过拟合的方法。在实践中，我们通常可以通过，增加训练样本，早停（即提前停止训练过程），L1\L2正则，dropout，以及batch normalize等手段来防止过拟合。2、dropout实现了一种继承学习的思想，在每一次训练时候，模型以概率p“丢弃”一些节点，每一次“丢弃”的节点不完全相同，从而使得模...
2020-02-01 09:52:09
6956
原创 Adam 和随机梯度下降的区别？
1、Adam 和随机梯度下降的区别？一、SGD1.1 对每一个待更新参数的求梯度，并在一定的学习率下按照梯度反方向更新参数。1.2 但该方法存在显著的弊端，例如以下这样的损失函数：在不同的参数方向一方面学习率不应当一样，因为他们的梯度程度不同，一个x1方向梯度较大，x2方向梯度较小，但若以相同学习率，很容易受单个参数的影响而很难走到局部最优点。二、Adam2.1 Adam 一方面动态的...
2020-02-01 09:51:18
4636
Tensorflow-BiLSTM分类
2018-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人