DeepCrossing模型

一、前言

真正的把深度学习架构应用于推荐系统中的模型了， 2016年由微软提出， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 这个模型涉及到的技术比较基础，在传统神经网络的基础上加入了embedding， 残差连接等思想， 且结构比较简单。

二、DeepCrossing模型

DeepCrossing模型要在内部网络结构中解决如下问题：

1. 离散类特征编码后过于稀疏， 不利于直接输入神经网络训练， 需要解决稀疏特征向量稠密化的问题
2. 如何解决特征自动交叉组合的问题
3. 如何在输出层中达成问题设定的优化目标

模型结构如下：

下面分别介绍一下各层的作用：

Embedding层： 将稀疏的类别型特征转成稠密的Embedding向量，Embedding的维度会远小于原始的系数特征向量。 这里的Feature #1表示的类别特征(one-hot编码后的稀疏特征向量）， Feature #2是数值型特征， 不用embedding， 直接到了Stacking层。
Stacking层：这个层是把不同的Embedding特征和数值型特征拼接在一起， 形成新的包含全部特征的特征向量， 该层通常也称为连接层
Multiple Residual Units层： 该层的主要结构是多层感知机， 但DeepCrossing采用了残差网络进行的连接。通过多层残差网络对特征向量各个维度充分的交叉组合， 使得模型能够抓取更多的非线性特征和组合特征信息， 增加模型的表达能力。
Scoring层： 这个作为输出层， 为了拟合优化目标存在。 对于CTR预估二分类问题， Scoring往往采用逻辑回归， 对于多分类， 往往采用Softmax模型

DeepCrossing模型中没有任何人工特征工程的参与， 只需要清洗一下， 原始特征经Embedding后输入神经网络层， 自主交叉和学习。 相比于FM， FFM只具备二阶特征交叉能力的模型， DeepCrossing可以通过调整神经网络的深度进行特征之间的“深度交叉”， 这也是Deep Crossing名称的由来。

三、代码实现

数据集为 Criteo — Display Advertising Challenge 的部分数据集（由于原来的数据量太大，为了在单机上能够运行，做了采样，取了很少的一部分进行实验），里面有 train.csv 和 test.csv 两个文件：

1、数据预处理

（1）导入数据文件

# import packages
import numpy as np
import pandas as pd

from sklearn.preprocessing import MinMaxScaler, LabelEncoder
from sklearn.model_selection import train_test_split


# import data
train_df = pd.read_csv('./data/train.csv')
test_df = pd.read_csv('./data/test.csv')

print(train_df.shape, test_df.shape)

# 进行数据合并
label = train_df['Label']
del train_df['Label']

data_df = pd.concat((train_df, test_df))


# 特征分开类别，也就是提出列