深度学习
文章平均质量分 81
zynash2
这个作者很懒,什么都没留下…
展开
-
DNN反向传播详解
目前的深度神经网络模型中,主要都是依赖传统BP的反向传播方式来计算梯度,由于tensorflow等牛逼框架的存在,目前梯度的计算方式被很多人都忽略掉了,本文旨在给大家详细推导下在不考虑dropout及特殊结构的情况下,全连接DNN模型是如何梯度下降的。首先,给出深度神经网络的一般结构形式:说明下推导过程中一些基本变量及参数的含义::表示第l层的第i个节点与第l-1层的第j个节点连接的权重w;:表示...原创 2018-03-07 20:18:35 · 7194 阅读 · 2 评论 -
论文精读-DeepFM
目前的CTR预估模型,实质上都是在“利用模型”进行特征工程上狠下功夫。传统的LR,简单易解释,但特征之间信息的挖掘需要大量的人工特征工程来完成。由于深度学习的出现,利用神经网络本身对于隐含特征关系的挖掘能力,成为了一个可行的方式。DNN本身主要是针对于高阶的隐含特征,而像FNN(利用FM做预训练实现embedding,再通过DNN进行训练,有时间会写写对该模型的认识)这样的模型则是考虑了高阶特征,...原创 2018-03-08 15:54:04 · 15903 阅读 · 15 评论 -
word2vec模型原理(一):基于哈夫曼树的word2vec
在nlp领域,文本词的向量表示往往是第一步,笔者在做一些推荐相关性的工作中也用到了其中很常见的word2vec模型,因此也具体学习了一下word2vec的具体实现原理,本文主要参考了github开源的c语言版的word2vec源码以及相关的博客。一、要解决的问题 对于语料中的每一个词,最简单的表达方式就是one-hot,即利用位数编码的方式每个词占据一个“1”位,其余为0,...原创 2018-08-31 15:03:21 · 12925 阅读 · 3 评论