基于文本的对话情绪识别模型介绍一(HiGRU)
在最近学习和实习中,主要解决的是语音情绪识别的问题。有关语音情绪识别的研究,国外普遍采用异构数据融合的方式来识别情绪,常见的有V(video),A(audio),T(text)三类数据。比较权威的数据集之一是IEMOCAP,包括了音频、视频与音频的转义文本。在此,作者介绍的是NAACL 2019的一篇文章,论文下载地址为https://arxiv.org/abs/1904.04446?context=cs,这篇论文只使用text文本来预测对话中每句话包含的情绪,达到了较高的准确率。
笔者在这里主要结合模型图和代码,来介绍HiGRU模型。
模型示意图
通过模型图,我们可以直观地观察到,HiGRU分为两部分,左半部分是获得对获取独立句子级别经过双向GRU捕捉到的序列特征,右半部份得到句子与句子之间存在的序列特征。
HiGRU模型的创新点
1、在GRU处理tensor为[batch,time_steps,embs]数据时考虑到了pad机制会用0或其他无意义单词补足长度的情况,具体表现为由于句子长度不够而用pad填充位置的单词不应该进入双向GRU进行计算。
2、Attention机制,在做attention时考虑到pad填充词不应该参与计算的情况,而赋于其一个极小的数&#