[CTR模型] DIEN（Deep Interest Evolution Network）模型解读与Deepctr实现

背景

DIEN（Deep Interest Evolution Network）是DIN的改进版，先回顾一下DIN模型：

DIN模型的核心思想是：在用户兴趣多样性的推荐背景下，利用用户的历史行为数据，通过Attention机制来捕捉被推荐物品的相对兴趣。DIN模型没有考虑到用户的兴趣的动态变化，如何在CTR中捕捉到用户兴趣的发展变化，就是DIEN要解决的问题。与DIN相似的是：DIEN也是用Attention机制来捕捉与候选广告相关的兴趣发展路径。

基本原理

DIEN致力于捕捉用户的兴趣和模型兴趣的演变过程。如下图所示，DIEN由几个部分组成:首先，通过嵌入层对各类特征进行变换。其次，DIEN采用两个步骤来捕获兴趣的演化:interest extractor layer根据行为序列提取兴趣序列;兴趣进化层描述了与目标物品相关的兴趣进化过程。然后将User Profile, Ad and Context的最终兴趣表示和嵌入向量连接起来。输入MLP进行最终的预测。

以下是模型的详细说明：

1. 模型的输入

包括四个部分，User Profile包括用户性别，年龄等；User Behacior是用户的历史行为序列，如用户的访问商品id列表；Ad是指被推荐物品的id，商店id等；Context是指设备类型id和时间等。

2. Interest Extractor Layer

DIEN采用GRU捕捉用户兴趣的演变过程，GRU的输入是按其发生时间排序的行为。GRU克服了RNN的消失梯度问题，比LSTM 更快。

GRU的公式如下：
$$\begin{gathered} u_t=\sigma (W^u{i}_t+U^u{h}_{t-1}+b^u), \\ {r}_t=\sigma (W^r{i}_t+U^r{h}_{t-1}+b^r), \\ {\tilde{h}}_t=tanh(W^h{i}_t+r_t\circ U^h{h}_{t-1}+b^h), \\ {h}_t=(1-u_t)\circ h_{t-1}+u_t\circ {\tilde{h}}_t, \end{gathered}$$
其中，${\mathbf{i}}_t={\mathbf{e}}_b[t]$指用户的第$t$个行为序列，${\mathbf{h}}_t$是用户的第$t$个隐层的输出。

为了让模型更好的学习历史状态的输出$h_t$，DIEN增加了辅助loss，用${\mathbf{b}}_{t+1}$来监督学学习兴趣层的状态${\mathbf{h}}_t$，即用当前行为的下一个行为作为正实例，对除了该正例以外的样本进行负采样作为负样本，进行训练。loss函数如下：
$$\begin{array}{rl}{L}_{aux}=-& \frac{1}{N}(\sum _{i=1}^N\sum _t\log \sigma \left({\mathbf{h}}_t^i,{\mathbf{e}}_b^i[t+1]\right)\\ & +\log \left(1-\sigma \left({\mathbf{h}}_t^i,{\hat{\mathbf{e}}}_b^i[t+1]\right)\right))\end{array}$$
其中 $h_t^i$ 表示第 t 个隐含状态， $e_b^i$ 表示有真实点击行为的正样本，${\hat{e}}_b^i$ 表示没有点击行为的负样本，其中 $\sigma$ 表示将向量内积的结果输入到 sigmoid 函数：
$$\sigma (a,b)=\frac{1}{1+ex{p}^{(-a\cdot b)}}$$
而全局的损失函数则变为：
$$L=L_{target}+\alpha L_{aux}$$
其中， α 是平衡最终损失与兴趣表示的超参数。

引入辅助loss的作用如下：

（1）有助于GRU更好的学习到用户的兴趣演变过程。

（2）有助于降低长序列建模中梯度反向传播的难度

（3）辅助损失函数还有助于嵌入层学习更多的语义信息，得到更好的嵌入矩阵。

3. Interest Evolving Layer

兴趣是多样性的，兴趣可能会相互影响，但是每一种兴趣都有自己的演变过程，例如书籍和衣服的进化过程几乎是单独的。DIEN只关注与目标物品相关的进化过程。

在Interest Extractor Layer层，在辅助loss的帮助下，DIEN得到了比较符合用户兴趣的兴趣序列的表达，在Interest Evolving Layer层，通过对兴趣演化特征的分析，将注意力机制的局部激活能力和GRU的序列学习能力结合起来对兴趣演化进行建模。在此层中，GRU的输入有两个部分$i_t^{\prime }和a_t$，$i_t^{,}$是Interest Extractor Layer中的GRU的隐藏状态$h_t$，$a_t$是Attention层的计算结果，计算公式如下：
$$a_t=\frac{exp(h_{t}W{e}_a)}{{\sum }_{j=1}^{T}exp(h_{j}W{e}_a)}$$
式子中的 ${\alpha }_t$ 表示相似度系数（注意力得分），$e_a$ 表示候选商品的 embedding 向量。注意分值可以反映广告$e_a$与输入$h_t$之间的关系，相关性强导致注意分值大。

GRU 得到这两个输入后，如何进行计算，论文给出了三种办法:

（1）GRU with attentional input(AIGRU)

这种方法直接将第二个 GRU 的输入与相似度系数相乘，即:
$$i_t^{\prime }=h_t\times a_t$$
但是这种方法效果不好，因为即使用系数 0 来表示候选商品与该兴趣完全无关，这个隐含状态仍然会影响到之后的兴趣演变过程的学习。

（2）Attention based GRU（AGRU）

在问答领域，AGRU 可以有效的提取 query 中的关键信息。具体的，AGRU 利用相似度系数来代替 GRU 的 update gate，通过相似度系数来改变隐藏层的输出：
$$h_t^{\prime }=(1-a_t)\times h_{t-1}^{\prime }+a_t\times {\tilde{h}}_t^{\prime }$$
虽然 AGRU 可以控制隐藏层的输出，但是它使用了一个标量来代替原来公式中的向量，忽视了不同维度之间的差异。

（3）GRU with attention update gate（AUGRU）

DIEN 的论文中结合了上面的两种方法，提出了 AUGRU：
$$\begin{gathered} {\tilde{u}}_t^{\prime }=a_t\times u_t^{\prime } \\ {h}_t^{\prime }=(1-{\tilde{u}}_t^{\prime })\circ h_{t-1}^{\prime }+{\tilde{u}}_t^{\prime }\circ {\tilde{h}}_t^{\prime } \end{gathered}$$
文中将连续 50 天点击的广告作为样本，用户点击目标商品之前 14 天的点击行为作为历史行为序列。其中前 49 天的样本作为训练集，第 50 天的样本作为测试集。实验表明，AUGRU 效果最佳。

Deepctr实现

例子是在 tensorflow2 的环境中使用了 deepctr 实现的 DIN 模型，deepctr 安装方式如下：

pip install deepctr[gpu]

使用包括两个部分

（1）处理数据

def get_xy_fd(use_neg=False, hash_flag=False):
     # 初始化虚拟数据

    # 行为序列名称，一般包括item_id和item对应的cate_id
    behavior_feature_list = ["item_id", "cate_id"]
    
    # user_id
    uid = np.array([0, 1, 2])
    
    # user 性别特征
    ugender = np.array([0, 1, 0])
    
    # 被推荐的物品的id及其所属类别
    iid = np.array([1, 2, 3])  # 0 is mask value
    cate_id = np.array([1, 2, 2])  # 0 is mask value
    
    # user 的评分特征
    score = np.array([0.1, 0.2, 0.3])
    
    # 用户的历史行为序列,假设长度为4，长度不足4的用0填充
    hist_iid = np.array([[1, 2, 3, 0], [1, 2, 3, 0], [1, 2, 0, 0]])
    hist_cate_id = np.array([[1, 2, 2, 0], [1, 2, 2, 0], [1, 2, 0, 0]])
    
    # 用户历史行为序列长度
    behavior_length = np.array([3, 3, 2])
    
    # 对特征进行嵌入

    # SparseFeat(name, vocabulary_size, embedding_dim,use_hash)
    # 当特征维度过多时，设置use_hash=True进行压缩
    # eg 将3个user分别嵌入到10维
    feature_columns = [SparseFeat('user', 3, embedding_dim=10, use_hash=hash_flag),
                       SparseFeat('gender', 2, embedding_dim=4, use_hash=hash_flag),
                       SparseFeat('item_id', 3 + 1, embedding_dim=8, use_hash=hash_flag),
                       SparseFeat('cate_id', 2 + 1, embedding_dim=4, use_hash=hash_flag),
                       DenseFeat('pay_score', 1)]
    
    # 处理历史序列数据
    # VarLenSparseFeat(sparsefeat, maxlen, combiner, length_name, weight_name,weight_norm)
    # vocabulary_size = 原始的行为种类个数+1，对于长度不足4的部分会用0来填充,因此 vocabulary_size 应该在原来的基础上
    feature_columns += [
            VarLenSparseFeat(SparseFeat('hist_item_id', vocabulary_size=3 + 1, embedding_dim=8, embedding_name='item_id'),
                             maxlen=4, length_name="seq_length"),
            VarLenSparseFeat(SparseFeat('hist_cate_id', 2 + 1, embedding_dim=4, embedding_name='cate_id'), maxlen=4,
                             length_name="seq_length")]

   
    # 构造特征字典
    feature_dict = {'user': uid, 'gender': ugender, 'item_id': iid, 'cate_id': cate_id,
                    'hist_item_id': hist_iid, 'hist_cate_id': hist_cate_id,
                    'pay_score': score, "seq_length": behavior_length}

    # 负采样：neg_hist_item_id 包含了每一个用户的负采样序列，
    # [1, 2, 3, 0]表示第一个人的负采样序列，[1, 2, 3, 0]时第二个人的负采样序列
    if use_neg:
        feature_dict['neg_hist_item_id'] = np.array([[1, 2, 3, 0], [1, 2, 3, 0], [1, 2, 0, 0]])
        feature_dict['neg_hist_cate_id'] = np.array([[1, 2, 2, 0], [1, 2, 2, 0], [1, 2, 0, 0]])
        feature_columns += [
            VarLenSparseFeat(SparseFeat('neg_hist_item_id', vocabulary_size=3 + 1, embedding_dim=8, embedding_name='item_id'),
                             maxlen=4, length_name="seq_length"),
            VarLenSparseFeat(SparseFeat('neg_hist_cate_id', 2 + 1, embedding_dim=4, embedding_name='cate_id'),
                             maxlen=4, length_name="seq_length")]
    
    # 构造输入(x,y)
    x = {name: feature_dict[name] for name in get_feature_names(feature_columns)}
    y = np.array([1, 0, 1])
    return x, y, feature_columns, behavior_feature_list

（2）训练模型

if __name__ == "__main__":
    if tf.__version__ >= '2.0.0':
        tf.compat.v1.disable_eager_execution()
    USE_NEG = True
    x, y, feature_columns, behavior_feature_list = get_xy_fd(use_neg=USE_NEG)
    
    # dnn_hidden_units，dnn的层数，以及每一层的输出个数
    model = DIEN(feature_columns, behavior_feature_list,
                 dnn_hidden_units=[4, 4, 4], dnn_dropout=0.6, gru_type="AUGRU", use_negsampling=USE_NEG)

    model.compile('adam', 'binary_crossentropy',
                  metrics=['binary_crossentropy'])
    history = model.fit(x, y, verbose=1, epochs=10, validation_split=0.5)

参考：

CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例

详解阿里之Deep Interest Evolution Network(AAAI 2019)

Deep Interest and Evolution Network for CTR