- 博客(5)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 动手学习深度学习|批量归一化和残差网络
一 批量归一化和残差网络对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。2.对卷积层做批量归⼀化位置：卷积计算...
2020-02-26 01:30:21
495
原创 动手学习深度学习|卷积神经网络
一 卷积神经网络基础二维卷积层，常用于处理图像数据。1 二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置...
2020-02-18 17:03:37
547
原创 动手学习深度学习|机器翻译\注意力机制
机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。分词： 字符串---单词组成的列表建立词典： 单词组成的列表---单词id组成的列表Encoder-Decoder: 可以应用在对话系统、生成式任务中。enc...
2020-02-18 16:57:41
1870
原创 动手学习深度学习|过拟合、欠拟合及其解决方案
一 过拟合与欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法1 训练误差与泛化误差训练误差：在训练集上的数据误差；泛化误差：在其他任意数据集上的误差的期望，常用测试集误差来近似模型选择：通常用验证集来进行模型选择K折交叉验证：将数据集分成相等的K个子数据集来进行K次训练和验证，每次将其中1个当作验证集进行验证模型，另外K-1个数据集进行训练，最后K次后取训练误差的...
2020-02-18 16:52:48
1221
原创 动手学习深度学习 | python函数学习
(1):维度dim，保持原有维度keepdim下面通过图像的形式直观的展示了这两个参数的作用。X = torch.tensor([[1, 2, 3], [4, 5, 6]])print(X.sum(dim=0, keepdim=True)) # dim为0，按照相同的列求和，并在结果中保留列特征print(X.sum(dim=1, keepdim=True)) # dim为1，按照相同...
2020-02-14 14:29:16
522
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人