- 博客(15)
- 收藏
- 关注
RSS订阅原创 AI之机器翻译及相关技术
AI之机器翻译及相关技术机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。import syssys.path.append(’/home/kesci/input/d2l9528/’)import collectionsimp...
2020-02-28 23:39:05
1028
原创 AI之循环神经网络进阶
AI之循环神经网络进阶GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:Image NameHt=ϕ(XtWxh+Ht−1Whh+bh)GRU:Image NameRt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H˜t=tanh(XtWxh+(Rt⊙Ht−1)Whh+...
2020-02-27 16:04:38
273
原创 AI之循环神经网络基础
AI之循环神经网络基础循环神经网络的构造从零开始实现循环神经网络one-hot向量初始化模型参数定义模型裁剪梯度定义预测函数困惑度定义模型训练函数训练模型并创作歌词循环神经网络的简洁实现定义模型 本文介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_{t}Ht表示HHH在时间...
2020-02-26 22:20:28
269
原创 AI之语言模型
AI之语言模型语言模型n元语法n 元语法缺陷语言模型数据集读取数据集建立字符索引时序数据的采样随机采样相邻采样 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列ω1,ω2,...,ωT\omega_1,\omega_2,...,\omega_Tω1,ω2,...,ωT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(ω1,ω2,...,ωT).P...
2020-02-24 21:40:56
795
原创 AI之文本预处理
AI之文本预处理读入文本分词建立字典将词转为索引用现有工具进行分词spaCyNLTK 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本 用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。import collectionsimport redef rea...
2020-02-24 19:21:59
288
原创 AI之批量归一化
AI之批量归一化不同目标的批量归一化1.对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化从零实现基于LeNet的应用简洁实现残差网络（ResNet）残差块（Residual Block）ResNet模型稠密连接网络（DenseNet）主要构建模块稠密块过渡层对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据...
2020-02-23 19:12:15
347
1
原创 AI之深度卷积神经网络（AlexNet）
深度卷积神经网络（AlexNet）引言AlexNet载入数据集训练使用重复元素的网络（VGG）⽹络中的⽹络（NiN）GoogLeNetGoogLeNet模型引言LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取:通过学习得到数据的多级表征，并逐级...
2020-02-22 19:50:41
447
原创 AI之LeNet
AI之LeNet卷积神经网络LeNet 模型LeNet模型的实现获取数据和训练模型卷积神经网络使用全连接层的局限性：图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过大。使用卷积层的优势：卷积层保留输入形状。卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大。LeNet...
2020-02-21 19:33:15
209
原创 AI之卷积神经网络基础
AI之卷积神经网络基础二维卷积层二维互相关运算二维卷积层互相关运算与卷积运算特征图与感受野填充和步幅填充步幅多输入通道和多输出通道多输入通道多输出通道1x1卷积层卷积层与全连接层的对比卷积层的简洁实现池化二维池化层池化层的简洁实现代码讲解 本文主要介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维卷积层 本文介绍的是最常见的二维卷积层，常用...
2020-02-20 18:56:54
287
原创 AI之梯度消失、梯度爆炸以及Kaggle房价预测
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化考虑环境因素协变量偏移标签偏移概念偏移Kaggle 房价预测实战获取和读取数据集预处理数据训练模型对数均方根误差实现K折交叉验证模型选择预测并在Kaggle中提交结果梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explo...
2020-02-19 16:43:02
199
原创 AI之过拟合、欠拟合及其解决方案
过拟合、欠拟合及其解决方案1. 过拟合、欠拟合的概念2. 权重衰减3. 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似...
2020-02-19 15:35:15
853
原创 Linux提升之基础命令篇
linux的常用命令一般模式：注：针对文件内部指令名指令yy复制y+N+y复制N行p粘贴u撤销dd删除一行d+N+d删除N行shift + ^移动到行头shift + $移动到行尾shift + g跳转到最后一行N + shift + g跳到第N行gg编辑模式：指令名指令...
2020-02-19 15:05:54
404
原创 AI之多层感知机
多层感知机1. 多层感知机的基本知识2. 使用多层感知机图像分类的从零开始的实现3. 使用pytorch的简洁实现多层感知机的基本知识 深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。隐藏层 下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。表达公式 具体来...
2020-02-17 18:52:00
221
原创 AI之softmax和分类模型
softmax和分类模型内容包含：softmax回归的基本概念如何获取Fashion-MNIST数据集和读取数据softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型使用pytorch重新实现softmax回归模型softmax的基本概念• 分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的...
2020-02-16 00:20:29
378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人