之前在CNN和RNN几个模型下分别测试了自然语言情感分析的效果(即能够达到的精确度),但那是调用已有的词典还有语言数据也是函数自带的,所以没有达到我们的目标(帮我们判别某句话是正面还是负面)。
分析内容:
用tensorflow进行中文自然语言处理的情感分析 github链接 https://github.com/aespresso/chinese_sentiment
预训练词向量:
北京师范大学中文信息处理研究所与中国人民大学 DBIIR 实验室的研究者开源的"chinese-word-vectors" github链接为:
https://github.com/Embedding/Chinese-Word-Vectors
具体步骤如下图:
其中第二步采用的分词方法是jieba分词,具体可参考 https://github.com/fxsjy/jieba
其实分词是一个很复杂的过程,首先可能是一个字一个字的切分,但如果相邻词之间能合在一起,则就会把它们合并。比如下面“我喜欢文学”后面还有一个“著作”或“书”字能与“文学”二字合在一起,则会考虑把它们分在一起。(当然这只是个简单的例子,具体分法需要考虑的还很多呢,毕竟中华文化博大精深~)
第三步:根据已有的词典建立索引
相当于平时我们查字典,而且便于计算,平时出现频率越大的词索引也越靠前。
第四步:词向量模型
在这个词向量模型里,每一个词是一个索引,对应的是一个长度为300的向量,我们需要构建的LSTM神经网络模型并不能直接处理汉字文本,需要先进行分次并把词汇转换为词向量。
最后就是放到神经网络上去训练了。
训练语料
使用了谭松波老师的酒店评论语料,训练样本分别被放置在两个文件夹里: 分别的pos和neg,每个文件夹里有2000个txt文件,每个文件内有一段评语,共有4000个训练样本。在上面链接里有。
# 首先加载必用的库
import numpy as np
import matplotlib.pyplot as plt
import re
import jieba # 结巴分词
# gensim用来加载预训练word vector
from gensim.models import KeyedVectors
# 我们使用tensorflow的keras接口来建模
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers import Dense, GRU, Embedding, LSTM, Bidirectional
from tensorflow.python.keras.preprocessing.sequence import pad_sequences
from tensorflow.python.keras.optimizers import Adam
from tensorflow.python.keras.callbacks import EarlyStopping, ModelCheckpoint, TensorBoard, ReduceLROnPlateau
from sklearn.model_selection import train_test_split
from tensorflow.python.keras.preprocessing.text import Tokenizer
from tensorflow.python.keras.optimizers import RMSprop
import warnings
warnings.filterwarnings("ignore")
# 获得样本的索引,样本存放于两个文件夹中,
# 分别为