DSSM
DSSM的结构
Learning Deep Structured Semantic Models for Web Search using Clickthrough Data以及其后续文章
A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems的实现Demo。
1. 数据
DSSM,对于输入数据是Query对,即Query短句和相应的展示,展示中分点击和未点击,分别为正负样,同时对于点击的先后顺序,也是有不同赋值,具体可参考论文。
对于我的Query数据本人无权开放,还请自行寻找数据。
2. word hashing
原文使用3-grams,对于中文,我使用了uni-gram,因为中文本身字有一定代表意义(也有论文拆笔画),对于每个gram都使用one-hot编码代替,最终可以大大降低短句维度。
3. 结构
结构图:
- 把条目映射成低维向量。
- 计算查询和文档的cosine相似度。
3.1 输入
这里使用了TensorBoard可视化,所以定义了name_scope:
- 1
- 2
- 3
- 4
- 5
3.2 全连接层
我使用三层的全连接层,对于每一层全连接层,除了神经元不一样,其他都一样,所以可以写一个函数复用。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
其中,对于权重和Bias,使用了按照论文的特定的初始化方式:
- 1
- 2
- 3
Batch Normalization
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
单层
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
合并负样本
- 1
- 2
- 3
- 4
- 5
- 6
- 7
3.3 计算cos相似度
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
3.4 定义损失函数
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
3.5选择优化方法
- 1
- 2
- 3
## 3.6 开始训练
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
GitHub完整代码 https://github.com/InsaneLife/dssm
Multi-view DSSM实现同理,可以参考GitHub:multi_view_dssm_v3
CSDN原文:http://blog.csdn.net/shine19930820/article/details/79042567
上面是 DSSM
训练的架构图:
- 输入的是一个
query
和这个query相关的doc
,这里的输入特征可以是最简单的one-hot
,而需要train
的是这个query下各个doc的相关性(DSSM
里面使用点击率来代替相关性) -
由于这种
one-hot
的输入可能会有两个问题:- 导致
vocabulary
太大 -
会出现
oov
的问题因此输入特征之后的第一层是做一个叫做
Word Hashinging
的操作
- 导致
- 接下来就是传统的神经网络了
$$l_i=f(W_il_{i-1}+b_i),i = 2,…,N-1 \\
y=f(W_Nl_{N-1}+b_N) $$这里的
f
是激活函数,文中使用$tanh$来计算:$f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$ - 得到的$y$就是语义特征了,query和doc之间的相关性就可以直接使用特想之间的相似性来度量,这里使用cosine来计算
$$R(Q,D)=cosine(y_Q,y_D) = \frac{y_Q^Ty_D}{||y_Q||||y_D||}$$ - 最终得到的相似度就可以去训练query和doc的相关性了
因此整个结构就可以看做做了一层 Word Hashing
之后去训练 DNN
网络
Word Hashing
Word Hashing
是paper非常重要的一个 trick
,以英文单词来说,比如 good
,他可以写成 #good#
,然后按tri-grams来进行分解为 #go goo ood od#
,再将这个tri-grams灌入到 bag-of-word
中,这种方式可以非常有效的解决 vocabulary
太大的问题(因为在真实的web search中vocabulary就是异常的大),另外也不会出现 oov
问题,因此英文单词才26个,3个字母的组合都是有限的,很容易枚举光。
那么问题就来了,这样两个不同的单词会不会产出相同的tri-grams,paper里面做了统计,说了这个冲突的概率非常的低,500K个word可以降到30k维,冲突的概率为0.0044%
但是在中文场景下,这个
Word Hashing
估计没有这么有效了
因为直接使用了word hashing,因为无法记录上下文信息
训练DSSM
上面是前向计算过程,在进行训练的时候需要计算给定 Query
下与 Doc
的相关性:
$$P(D|Q) = \frac{exp(\gamma R(Q,D))}{\sum_{d_i \in D} exp(\gamma R(Q,D))}$$
最终他需要优化的损失函数为:
$$L(\Lambda) = - \text{log} \prod_{(Q,D^+)} P(D^+|Q)$$
$D^+$表示被点击的文档,这里就是最大化点击文档的相关性的最大似然
CDSSM
CDSSM
(又称 CLSM
:Convolutional latent semantic model)在一定程度上他可以弥补 DSSM
会丢失上下文的问题,他的结构也很简单,主要是将DNN
替换成了 CNN
他的前向步骤主要计算如下:
1. 使用指定滑窗大小对输入序列取窗口数据(称为word-n-gram
)
2. 对于这些
word-n-gram
按
letter-trigram
进行转换构成representation vector(其实就是
Word Hashing
)
3. 对窗口数据进行一次卷积层的处理(窗口里面含有部分上下文)
4. 使用
max-pooling
层来取那些比较重要的
word-n-gram
5. 再过一次FC层计算语义向量
6. 他最终输出的还是128维
> 因为使用
CDSSM
来做语义匹配的工作也是比较合适的
## DSSM-LSTM
既然是为了记录输入句子的上下文,这个无疑是
Lstm
这个模型更为擅长,因此又有了一种
Lstm
来构造的
DSSM
模型
这篇相对于 CDSMM
来说改的更为简单,其实就是将原始 DSSM
的模型替换为了 LSTM
模型…
MV-DSSM
MV-DSSM
里面的 MV
为 Multi-View
,一般可以理解为多视角的 DSSM
,在原始的DSSM中需要训练的有 Query
和 Doc
这两类的embedding,同时里面 DNN
的所有权重都是共享的,而 MV-DSSM
他可以训练不止两类的训练数据,同时里面的深度模型的参数是相互独立:
基于
Multi-View
的
DSSM
是的参数变多了,由于多视角的训练,输入的语料也可以变得不同,自由度也更大了,但是随之带来的问题就是训练会变得越来越困难^_^
总结
DSSM
类的模型其实在计算相似度的时候最后一步除了使用Cosine,可能再接入一个MLP会更加好,因为Cosine是完全无参的。
DSSM
的优势:
DSSM
看起来在真实检索场景下可行性很高,一方面是直接使用了用户天然的点击数据,出来的结果可行度很高,另一方面文中的doc可以使用title来表示,同时这个部分都是可以离线进行语义向量计算的,然后最终query和doc的语义相似性也是相当诱人DSSM
出的结果不仅可以直接排序,还可以拿中间见过做文章:semantic feature
可以天然的作为word embedding
嘛
DSSM
的劣势:
- 用户信息较难加入(不过可以基于
MVDSSM
改造) - 貌似训练时间很长啊
参考
- Huang P S, He X, Gao J, et al. Learning deep structured semantic models for web search using clickthrough data[C]// ACM International Conference on Conference on Information & Knowledge Management. ACM, 2013:2333-2338.
- Shen, Yelong, et al. “A latent semantic model with convolutional-pooling structure for information retrieval.” Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management. ACM, 2014.
- Palangi, Hamid, et al. “Semantic modelling with long-short-term memory for information retrieval.” arXiv preprint arXiv:1412.6629 (2014).
- Elkahky, Ali Mamdouh, Yang Song, and Xiaodong He. “A multi-view deep learning approach for cross domain user modeling in recommendation systems.” Proceedings of the 24th International Conference on World Wide Web. International World Wide Web Conferences Steering Committee, 2015.