DSIN模型解读

深度会话兴趣网络Deep Session Interest Network for Click-Through Rate Prediction，跟 DIN， DIEN 相比，最大的不同在于对用户的历史点击行为划分为不同session，对每个session使用Transformer学习session embedding，最后使用BiLSTM对session序列建模。

在推荐系统中，用户兴趣是十分广泛的，但在一个较短的时间内，用户的兴趣是集中的，我们称这段时间为一个Session。例如：把间隔30分钟以上的不同行为item划归成不同的Session。

模型结构

User Behaviors 部分

一共包括四层。

1、第一层是Session Division Layer是对用户的历史行为划分到不同session；

这一层将用户的行文进行切分，首先将用户的点击行为按照时间排序，判断每两个行为之间的时间间隔，前后的时间间隔大于30min，就进行切分。文章将间隔超过30分钟作为session的划分，比如将历史点击序列 $\mathcal{S}$ 转换为session $\mathcal{Q}$，第$k$个session表示为：
$$Q_k=[b_1,\cdots ,b_i,\cdots ,b_T]\in R^{T\times d_{model}}$$
其中，$T$是第$k$个session的长度，$d_{model}$是输入item的embedding大小。

2、第二层是Session Interest Extractor Layer是学习session的表征；

在每一个session内，每个用户的行为是高度相关的。为了刻画相同session内行为间的相关性，DSIN使用了Bias Encoding。DSIN使用multi-head self-attention对每个session建模。为了刻画不同session间的顺序。

2.1 Bias Encoding

为了利用序列间的顺序关系，self-Attention机制将位置编码应用于输入的嵌入。此外，还需要捕获位于不同session的会话的顺序关系和偏差。所以，定义基于位置编码的偏差bias为：
$${\mathbf{B}\mathbf{E}}_{(k,t,c)}={\mathbf{w}}_k^K+{\mathbf{w}}_t^T+{\mathbf{w}}_c^C$$
其中，${\mathbf{w}}_k^K$是session的bias，${\mathbf{w}}_t^T$是位置的bias，${\mathbf{w}}_c^C$是每个物品的bias。

入bias encoding后，用户的session表示为:
$$Q=Q+BE$$
2.2 Multi-head Self-attention

在推荐系统中，用户的点击行为会受各种因素影响。多头自我注意机制(Multi-head Self-attention)可以捕获不同表示子空间中的关系。每个head的输出可以表示为：
$$\begin{array}{rl}{\text{ head }}_h& =\text{ Attention }\left({\mathbf{Q}}_{kh}{\mathbf{W}}^Q,{\mathbf{Q}}_{kh}{\mathbf{W}}^K,{\mathbf{Q}}_{kh}{\mathbf{W}}^V\right)\\ & =\mathrm{softmax}\left(\frac{{\mathbf{Q}}_{kh}{\mathbf{W}}^Q{\mathbf{W}}^K{\mathbf{Q}}_{kh}^T}{\sqrt{d_{\text{model }}}}\right){\mathbf{Q}}_{kh}{\mathbf{W}}^V\end{array}$$
其中，${\mathbf{Q}}_{kh}$ 表示第 k 个 session的第 h 个 head。

然后将 head 的输出concat到一起，再接入一个FFN网络(全连接网络)：
$${\mathbf{I}}_k^Q=FFN(Concat(hea{d}_1,\cdots ,hea{d}_H)W^O)$$
其中，$W^O$表示线性矩阵。

经过Multi-head self attention处理之后，每个session得到的结果仍然是 $\mathbf{T}\times d_{model}$ 大小，随后，经过一个avg pooling操作，将每个session兴趣转换成一个 $d_{model}$ 维向量
$${\mathbf{I}}_k=\mathbf{A}\mathbf{v}\mathbf{g}({\mathbf{I}}_k^Q)$$
论文同时还依次进行残差连接和层归一化。

3、第三层是Session Interest Interacting Layer是学习session之间的演变；

使用双向LSTM建模session之间的演变。双向意味着存在向前和向后RNN，以及隐藏状态H的计算如下：
$${\mathbf{H}}_t=\overrightarrow{{\mathbf{h}}_{ft}}\oplus \overrightarrow{{\mathbf{h}}_{bt}}$$
上式中的两项分别表示前向的隐藏层状态和反向的隐藏层状态。

4、第四层是Session Interest Activating Layer是学习当前item和历史点击session的相关性。

这部分主要是通过Attention机制刻画Item和session之间的相关性。用户的session与目标物品越相近，越应该赋予更大的权重。使用注意力机制来刻画这种相关性：
$$\begin{array}{rl}{a}_k^H& =\frac{\exp \left({\mathbf{H}}_k{\mathbf{W}}^H{\mathbf{X}}^I\right))}{{\sum }_k^K\exp \left({\mathbf{H}}_k{\mathbf{W}}^H{\mathbf{X}}^I\right)}\\ {\mathbf{U}}^H& =\sum _k^K{a}_k^H{\mathbf{H}}_k\end{array}$$
其中${\mathbf{X}}^I$是目标item的embedding

其他部分

最后，就是把四部分的向量：用户特征向量、待推荐物品向量、会话兴趣加权向量UI、带上下文信息的会话兴趣加权向量UH进行横向拼接，输入到全连接层中，得到输出。