![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
动手学深度学习
zyuPp
你今日练习了吗?
展开
-
词嵌入word2vec、w2v进阶、文本处理
词嵌入word2vecword2vec在学习w2v之前,我们都是使用one-hot向量表示单词,one-hot构造起来非常容易,但是其实有个缺点,就是无法准确表达不同词语之间的相似度,而w2v的提出,就是为了解决这个问题。word2vec的定义是将每个单词表示成一个定长的向量,通过在语料库上的预训练使得向量能够较好地表达出不同词语之间的相似和类比关系,以引入一定的语义信息.常用的两种w2v...原创 2020-02-25 19:26:50 · 2186 阅读 · 0 评论 -
优化算法进阶、数据增强、模型微调
优化算法进阶ill-conditioned Problem 是hessian matrix的状态比较差,不过我不懂…,两种方法解决:Preconditioning很多优化算法都应用了,例如Adam, RMSProp, AdaGrad, Adelta, KFC, Natural gradient and other secord-order optimization algorithms.A...原创 2020-02-23 17:19:26 · 757 阅读 · 0 评论 -
批量归一化与残差网络、凸优化、梯度下降法
批量归一化对于浅层模型:对输入进行标准化处理,使得各个特征的分布相近,任意一个特征在数据集中所有样本上的均值为0、标准差为1对于深度模型:提出批量归一化,利用小批量的均值和标准差,不断调整网络中间输出,使得网络各层的输出数值更稳定1. 对全连接层做BatchNormalization:x=Wu+boutput=ϕ(x)\boldsymbol{x} = \boldsymbol{W\bo...原创 2020-02-21 12:22:54 · 904 阅读 · 0 评论 -
CNN、LeNet、CNN进阶
CNN互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y...原创 2020-02-19 20:38:18 · 307 阅读 · 0 评论 -
神经机器翻译技术、Attention与Seq2Seq、Transformer
神经机器翻译技术NMT主要特点:输出是单词序列而不是单个单词,并且可能输出序列的长度与输入序列的长度不同机器翻译的实现过程1. 数据预处理乱码处理我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 (ISO/IEC_8859-1)中的扩展字符集字符,代表不间断空白符nbsp(non-breaking space...原创 2020-02-19 20:38:31 · 1232 阅读 · 0 评论 -
过拟合与欠拟合、梯度消失与爆炸、RNN进阶
过拟合与欠拟合专业名词解释:泛化误差(generalization error):指模型在任意一个测试数据样本上表现出来的误差的期望,我们通常用测试集上的误差来近似看待.验证集(validation set):预留一部分训练数据集出来用于验证和看模型的表现结果,并用来进行模型选择K折交叉验证(K-fold cross-validation):针对训练数据不够用时的一种改善方法。把原始训练数...原创 2020-02-18 12:14:22 · 1413 阅读 · 0 评论 -
文本预处理、n-gram语言模型、循环神经网络基础
文本预处理常见4个步骤:读取文本分词建立字典,将每个词映射到一个唯一的索引将文本从词的序列转换为索引的序列,方便输入模型一、读取文本import redef read_data(): with open('...') as f: lines = [re.sub('[^a-z]+',' ',line.strip().lower()) for line in f] #使用...原创 2020-02-14 20:46:30 · 590 阅读 · 0 评论 -
线性回归、softmax与分类、多层感知机
做一个简单的回归预测模型的步骤和基本要素:我们要有数据集,观察数据集的变量和标签,明确要解决的问题,分割为训练集和测试集,用于预测的标签的因素成为特征模型,主要看我们怎么去考虑,线性回归就直接乘上w参数,例如面积和房龄损失函数,衡量预测值和真实值之间的误差,通常会选择一个非负数作为误差,数值越小越好,这里用平方误差.优化函数:误差最小化问题的解可以直接用公式表达,叫做解析解。上面的线性回...原创 2020-02-13 12:50:49 · 309 阅读 · 0 评论