word2vec模型原理(一):基于哈夫曼树的word2vec

    在nlp领域,文本词的向量表示往往是第一步,笔者在做一些推荐相关性的工作中也用到了其中很常见的word2vec模型,因此也具体学习了一下word2vec的具体实现原理,本文主要参考了github开源的c语言版的word2vec源码以及相关的博客。 一、要解决的问题      对于语料中...

2018-08-31 15:03:21

阅读数 2471

评论数 1

常用损失函数详解

1、平方损失:2、对数损失:一般的概率模型或者是分类问题,大都使用对数损失函数作为衡量损失的标准,首先给出对数损失函数的标准形式:观察可以发现,对于对数损失按照样本求和之后,对数的位上会变成条件概率的积,这个时候就非常有意思了,而对于概率模型而言,条件概率基于样本的积就是模型的似然函数,再取对数以...

2018-05-15 19:16:34

阅读数 1920

评论数 0

FM-分解机模型详解

FM论文地址:https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf 工业界传统的LR,由于简单且可解释被广泛使用,但人工特征工程的繁琐操作也是阻碍模型真正效果的主要原因,各类的特征组合需要大量的人工挖掘实验。鉴于此,基于矩阵分解的FM...

2018-05-10 16:56:50

阅读数 1468

评论数 0

论文精读-DeepFM

目前的CTR预估模型,实质上都是在“利用模型”进行特征工程上狠下功夫。传统的LR,简单易解释,但特征之间信息的挖掘需要大量的人工特征工程来完成。由于深度学习的出现,利用神经网络本身对于隐含特征关系的挖掘能力,成为了一个可行的方式。DNN本身主要是针对于高阶的隐含特征,而像FNN(利用FM做预训练实...

2018-03-08 15:54:04

阅读数 7151

评论数 10

DNN反向传播详解

目前的深度神经网络模型中,主要都是依赖传统BP的反向传播方式来计算梯度,由于tensorflow等牛逼框架的存在,目前梯度的计算方式被很多人都忽略掉了,本文旨在给大家详细推导下在不考虑dropout及特殊结构的情况下,全连接DNN模型是如何梯度下降的。首先,给出深度神经网络的一般结构形式:说明下推...

2018-03-07 20:18:35

阅读数 3348

评论数 2

sigmoid函数是如何诞生的(最大熵原理)

      由于工作的原因没有在学校里那么多学习的时间,对于很多基础知识纠结好久还是觉得应该记录下来,于是就打开了好多年没用的csdn,开始记录下自己的偶尔的学习过程,希望能以此勉励自己。当然第一篇博客,自然逼格不能低,先来谈谈自己一直很好奇的,大牛们熟的不能再熟的sigmod函数究竟是怎么得来的...

2018-02-05 17:26:41

阅读数 1825

评论数 0

leetcode132 Palindrome Partitioning II

leetcode132  Palindrome Partitioning II Given a string s, partition s such that every substring of the partition is a palindrome. Return the mi...

2015-12-28 16:41:01

阅读数 227

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭