卷积神经网络文本分类模型TextCNN及Tensorflow实现

卷积神经网络的核心思想是捕捉局部特征。对于文本来说，局部特征就是由若干单词组成的滑动窗口，类似于N-gram。卷积神经网络的优势在于能够自动对N-gram特征进行组合和筛选，获得不同抽象层次的语义信息，并且由于权值共享机制，训练速度也比较快。

用于文本分类任务的卷积神经网络模型为TextCNN，具体原理见论文Convolutional Neural Networks for Sentence Classification

1) 输入层是一个N×K维的矩阵，N对应文章单词数，K为词向量维度。每个词的K维向量可以预先在其他语料库通过word2vec训练好，也可以作为未知参数由网络训练得到。上图的结构中表示输入有两个通道，一个词嵌入是静态的，训练过程中不在变化，另一个的初始化方式相同，不过会作为参数随网络训练过程变化。

2）第二层为1D的卷积层，卷积核的维度为h×K，K是固定的，与词向量维度一致，h可变化，可以定义不同尺寸的卷积核来提取特征。

3）第三层是池化层，可以采用1-Max池化，即每个卷积核提取出的特征取最大值，也可以使用K-Max池化，即选出前K个最大的特征。

4）将特征拼接成一维向量，接入一个全连接层并使用softmax进行分类。

代码实现如下（代码中的词嵌入部分作为未知参数由网络训练得到）：

import tensorflow as tf


class TCNNConfig(object):
    """CNN配置参数"""

    embedding_dim = 32  # 词向量维度
    seq_length = 1000  # 序列长度
    num_classes = 8  # 类别数
    num_filters = 32  # 卷积核数目
    kernel_sizes = [2, 4, 6, 8, 10]  # 卷积核尺寸
    vocab_size = 296  # 词汇表达小

    dropout_keep_prob = 0.5  # dropout保留比例
    learning_rate = 1e-3  # 学习率
    regular_rate = 1e-4  # 正则化系数

    batch_size = 64  # 每批训练大小
    num_epochs = 16  # 总迭代轮次

    print_per_batch = 100  # 每多少轮输出一次结果



class TextCNN(object):
    """文本分类，CNN模型"""

    def __init__(self, config):
        self.config = config

        # 三个待输入的数据
        self.input_x = tf.placeholder(tf.int32, [None, self.config.seq_length], name='input_x')
        self.input_y = tf.placeholder(tf.float32, [None, self.config.num_classes], name='input_y')
        self.keep_prob = tf.placeholder(tf.float32, name='keep_prob')

        self.cnn()

    def cnn(self):
        """CNN模型"""
        # 词向量映射
        with tf.device('/cpu:0'):
            embedding = tf.get_variable('embedding', [self.config.vocab_size, self.config.embedding_dim],
                                        initializer=tf.truncated_normal_initializer(stddev=0.1))
            embedding_inputs = tf.nn.embedding_lookup(embedding, self.input_x)

        pooled_outputs = []
        for i, filter_size in enumerate(self.config.kernel_sizes):
            # 根据卷积核尺寸个数分成多个平行的卷积层
            with tf.name_scope("cnn-%s" % filter_size):
                # 卷积层
                conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, filter_size,
                                        activation=tf.nn.relu)
                # 1-Max池化
                gmp = tf.reduce_max(conv, reduction_indices=[1])
                pooled_outputs.append(gmp)

        with tf.name_scope("dense"):
            h_pool = tf.concat(pooled_outputs, 1)  # 拼接所有卷积核的特征
            dropout = tf.contrib.layers.dropout(h_pool, self.keep_prob)  # dropout层，随机丢弃一些特征，防止过拟合
            fc = tf.layers.dense(dropout, self.config.num_classes, name='fc')  # 全连接层

        with tf.name_scope("score"):
            # 分类器
            self.y_pred_prb = tf.nn.softmax(fc)  # 概率
            self.y_pred_cls = tf.argmax(self.y_pred_prb, 1)  # 预测类别

        with tf.name_scope("optimize"):
            # 损失函数，交叉熵
            cross_entropy = tf.nn.softmax_cross_entropy_with_logits_v2(logits=fc, labels=self.input_y)
            self.loss = tf.reduce_mean(cross_entropy)
            # 损失函数L2正则化
            self.loss_reg = self.loss + tf.contrib.layers.apply_regularization(
                tf.contrib.layers.l2_regularizer(self.config.regular_rate),
                [v for v in tf.trainable_variables() if 'bias' not in v.name])
            # 优化器
            self.optim = tf.train.AdamOptimizer(learning_rate=self.config.learning_rate).minimize(self.loss_reg)

        with tf.name_scope("accuracy"):
            # 准确率
            correct_pred = tf.equal(tf.argmax(self.input_y, 1), self.y_pred_cls)
            self.acc = tf.reduce_mean(tf.cast(correct_pred, tf.float32))