- 博客(5)
- 收藏
- 关注
RSS订阅原创 【神经网络】学习笔记十—RNN实例1：时间序列sin曲线预测cos曲线
显然RNN是预测时间序列的，即前后文有关的一些预测，即在时间排列的基础上前后变量变化相关的预测。本文根据sin曲线规律预测cos曲线规律。偷摸说一句，还有一篇博客写RNN（实际上是LSTM）识别手写照片，，，，不能理解，咋还能识别那个东西，一个手写数字照片，很明显每个照片28*28的像素点没有联系嘛真的是，，奇奇怪怪，非要乱来，置我CNN大法于何地。呸好进入正题。首先解释一下里面的一些东西。首先这是一个预测时间序列的规律的题目。我们将batch设为50，即每50个坐标作为一组训练数据，这意味
2021-05-14 14:54:23
1547
原创 【神经网络】学习笔记九—学习率浅析
一、什么是学习率（Learning rate）学习率（Learning rate）作为监督学习以及深度学习中重要的超参数，其决定着目标函数是否能收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。它指导我们在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数。调整权重公式如下：new_weight = old_weight - learning_rate * gradient二、学习率对损失值和深度网络的影响从图一可以看出，如果学习率过小
2021-05-11 21:52:17
12090
原创 【神经网络】学习笔记八—dropout浅析
转载，原文地址：(39条消息) 理解dropout_雨石-CSDN博客_dropout原文写的很棒很详细，大家可以去读一下，这里只是简短的摘录和理解。一、理解dropout开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于梯度下降来说，由于是随即丢弃，故而每一个mini-batch都是在训练不同的网络。dropout是CNN中防止过拟合提高网络效果的一个大杀器。二、观点1. 组合派在Hinton的《A s
2021-05-11 14:24:17
906
1
原创 【神经网络】学习笔记七—过拟合欠拟合
转载，原文地址：深度学习中过拟合、欠拟合问题及解决方案 - 早起的小虫子 - 博客园 (cnblogs.com)说的很细致，大家可以去看看。在深度学习的模型建立过程中，一般都是用已经产生的数据训练，然后使用训练得到的模型去拟合未来的数据，借此来预测一些东西。在机器学习和深度学习的训练过程中，经常会出现欠拟合和过拟合的现象。训练一开始，模型通常会欠拟合，所以会对模型进行优化，等训练到一定程度后，就需要解决过拟合的问题了。一、模型训练拟合的分类和表现如何判断过拟合呢？我们在训练的时候会定义训练误
2021-05-10 22:58:25
7080
5
原创 【CNN实战】001：基于Minist数据集的手写数字识别
此处摘录一个简单的CNN实例。例子利用Minist数据集，利用两个卷积层（+两个池化层）和全连接层实现了手写数字照片的识别。原图reshape为28*28的照片输入。第一层：卷积层。32个5*5的卷积核，输入为28*28（*1）的照片，输出为28*28*32的照片，也就是把一张照片弄成大小不变的32张照片，1->32实际上是厚度，也就是通道数变了；第二层：池化层。2*2的池化区域，上下步数为1，输入为28*28的32张照片，输出为14*14的32张照片。即28*28*32->14
2021-05-10 15:28:20
3039
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人