Datawhale--《动手学深度学习》
Xavier学长
这个作者很懒,什么都没留下…
展开
-
动手学深度学习-21
1原创 2020-03-22 23:14:05 · 293 阅读 · 0 评论 -
动手学深度学习-21 模型微调
1原创 2020-03-10 19:21:49 · 967 阅读 · 0 评论 -
动手学深度学习-20 数据增强
在深度卷积神经网络 里我们提到过,大规模数据集是成功应用深度神经网络的前提。图像增广(image augmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。例如,我们可以对图像进行不同方式的裁剪,使感兴趣的物体出现在不同位置,从而减轻模型对物体出...原创 2020-03-08 21:40:37 · 242 阅读 · 0 评论 -
动手学深度学习-19 优化算法进阶
Momentum目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差...原创 2020-03-06 23:44:06 · 300 阅读 · 0 评论 -
动手学深度学习-18 梯度下降
论文:Boyd, S., & Vandenberghe, L. (2004).Convex Optimization. Cambridge, England: Cambridge University Press.%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, ...原创 2020-03-06 13:53:37 · 348 阅读 · 0 评论 -
动手学深度学习-17 凸优化
优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标:训练集损失函数值 深度学习目标:测试集损失函数值(泛化性)%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfro...原创 2020-03-05 18:56:43 · 820 阅读 · 0 评论 -
动手学深度学习-16 Transformer
Transformer在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网络(RNNs)。让我们进行一些回顾:CNNs 易于并行化,却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖,但是却难以实现并行化处理序列。为了整合CNN和RNN的优势,[Vaswani et al., 2017]【paper:Attention Is ...原创 2020-03-03 17:47:33 · 575 阅读 · 0 评论 -
动手学深度学习-15 注意力机制与Seq2seq模型
注意力机制在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器以生成目标序列。然而这种结构存在着问题,尤其是RNN机制实际中存在长程梯度消失的问题,对于较长的句子,我们很难寄希望于将输入的序列转化...原创 2020-03-03 16:41:54 · 355 阅读 · 0 评论 -
动手学深度学习-14 机器翻译及相关技术
机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据集是英语和法语互译import syssys.path.append('/home/kesci/input/d2l9528/')import collections...原创 2020-03-02 23:40:46 · 440 阅读 · 1 评论 -
动手学深度学习-11 语言模型
语言模型n元语法数据稀疏:是因为很多数据算出来都是0语言模型数据集读取数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()##返回整个文件print(len(corpus_...原创 2020-03-02 17:56:32 · 298 阅读 · 0 评论 -
动手学深度学习-10 文本预处理
文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:读入文本 分词 建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型读入文本我们用一部英文小说,即H. G. Well的Time Machine,作为示例,展示文本预处理的具体过程。链接:http://www.gut...原创 2020-03-02 17:31:40 · 247 阅读 · 0 评论 -
动手学深度学习-09 批量归一化和残差网络
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。...原创 2020-03-02 17:01:28 · 616 阅读 · 0 评论 -
动手学深度学习-08 卷积神经网络进阶
深度卷积神经网络(AlexNet)LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取:通过学习得到数据的多级表征,并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的...原创 2020-03-02 15:34:39 · 300 阅读 · 0 评论 -
动手学深度学习-05 梯度消失和梯度爆炸
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。PyTorch的默认随机初始化随机初始化模型参数的方法有很多。在线性回归的简洁实现中,我们使用tor...原创 2020-03-01 22:03:50 · 760 阅读 · 1 评论 -
动手学深度学习-04 过拟合、欠拟合及其解决方案
一、过拟合、欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训...原创 2020-03-01 19:48:47 · 1261 阅读 · 0 评论 -
动手学深度学习-01:线性回归
一、线性回归代码分析部分:原创 2020-02-12 21:12:17 · 778 阅读 · 0 评论 -
动手学深度学习-02 softmax和分类模型
softmax和分类模型内容包含:softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据 softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型 使用pytorch重新实现softmax回归模型softmax的基本概念模型训练和预测在训练好softmax回归模型后,给定任一样本特征...原创 2020-02-28 20:33:33 · 267 阅读 · 0 评论 -
动手学深度学习-03 多层感知机
多层感知机多层感知机的基本知识 使用多层感知机图像分类的从零开始的实现 使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。表达公式激活函数上述问...原创 2020-02-28 20:30:53 · 194 阅读 · 0 评论 -
动手学深度学习-13 循环神经网络进阶
一、原创 2020-02-17 18:44:47 · 466 阅读 · 0 评论 -
动手学深度学习-12 循环神经网络基础
一、文本预处理详细代码见文初二、语言模型原创 2020-02-14 17:20:20 · 364 阅读 · 0 评论