情绪识别论文阅读

[1]吕宝粮,张亚倩,郑伟龙.情感脑机接口研究综述[J].智能科学与技术学报,2021,3(01):36-48.

情感脑机接口研究综述

情感脑机接口研究面临的困难和挑战

1. 神经科学对情绪产生的神经机理和神经回路了解甚少
2. 情感脑机接口的研究起步相对较晚
3. 国内外从从事情感脑机接口研究的实验室和团队相对较少

研究人员主要关注的两种情绪模型

1. 离散模型：离散模型认为情绪是由多种不同的、离散的基本情绪组成，其中比较著名的是Ekman P提出的情绪理论
2. 维度模型：维度模型把情绪定义在由多个维度组成的坐标系中，其中被广泛使用的Russell J A于1980年提出的情绪二维模型，他将人类所有情绪描述在由效价（valence）和唤醒度（arousal）建立的二维坐标系中。

情感脑机接口的构成

1. 情绪识别脑机接口：一类仅对人的情绪进行识别
2. 情绪调控脑机接口：另一类在情绪识别的基础上对人的情绪进行调控

脑电信号

1. 对脑电信号的处理和分析流程一般包括预处理、特征提取、特征平滑、训练分类器和测试等。
2. 由于情绪的变化是一个相对平缓的渐变过程，而提取的脑电特征的变化常常较为剧烈。因此，为了去除脑电特征中与情绪无关的脑电活动，可以采用线性动力系统平滑算法对脑电信号进行特征平滑，从而消除或降低与情绪无关的脑电信号的影响。
3. 脑区位置：颞叶区域左右半球的大脑beta频段脑电激活强度存在差异。情绪识别中颞叶和前额叶附近的通道对于情绪识别最重要，并且基于这些脑区的位置的4个关键导联对3类情绪识别的准确率可以达到甚至超过使用全部62个通道的准确率。

情绪脑电数据集

DEAP：32名被试的32通道的脑电数据，被试观看40个1min的音乐视频，并对唤醒度、效价、喜欢/不喜欢、支配度和熟悉度进行打分。
SEED:15名被试的62通道的脑电和眼动数据，每位被试在不同时间参与了3次实验。
SEED-IV：4类情绪脑电数据集。
SEED-VIG：警觉度估计脑电数据集
DREAMER:（23 名被试的 14 通道脑电、心电数据)
CAS-THU:30 名被试的 14 通道脑电数据
MANHOB-HCI:27 名被试的 32 通道脑电、皮肤电、心电、注视、呼吸、视频等数据)
ASCERTAIN:58 名被试的 8 通道脑电、肌电、皮肤电、面部视频数据)
AMIGOS:40 名被试的 14 通道脑电、肌电、皮肤电数据)

跨被试情感模型与迁移学习

1. Zheng W L 将基于直推参数迁移的迁移学习方法应用于情感脑机接口，能将3类情绪（正面、中心、负面）的识别准确率从56%提升到76%。
2. 基于深度网络和生成对抗网络的迁移学习也被应用于情感脑机接口，使跨被试的情绪识别性能获得了明显的提升。
3. 基于Wassertein距离的生成对抗域网络达到了目前SEED数据集上跨被试情绪识别的最高准确率87%。
4. 域适应算法和域泛化算法的区别：域适应算法仍然需要采集目标域的特征数据，但是实际使用中会导致校准时间过长。域泛化算法不需要采集目标域数据，而是使用来自多个源域的数据，实现以提取与域无关而与任务相关的特征信息为目标的特征映射。

跨模态情感模型

1. 可靠、鲁棒的情感脑机接口的一个重要挑战是如何充分考虑实际使用情况，使得模型在模态改变或缺失的情况下也能达到较为令人满意的性能。
2. 异质迁移学习的跨模态情感模型，异质迁移学习是针对源域和目标域的特征空间或任务空间不完全相同的场景提出的迁移学习方法。
3. 跨模态情感模型可以综合分析多个模态的信号，提取模态之间的关联特性。在测试阶段，基于部分模态信息进行预测。

多模态情感脑机接口

1. 眼动信号：对于正面情绪，脑电信号优于眼动信号；对于中性和负面情绪，眼动信号比闹顶信号具有更高识别准确率。
2. 通过构建注意力机制的深度泛化典型则关联分析模型（DGCCA-AM），可以实现多个模态的自适应融合，促进多模态情感脑机接口在更为复杂的场景中的应用。
3. 建立多模态情感脑机接口的关键问题是如何将多模态信号进行有效融合，从而实现对情绪的精确识别。常见的多模态数据融合方法包括：数据层面融合、特征层面融合、以及决策层面融合。

数据层面融合	特征层面融合	决策层面融合
将不同模态的原始数据直接融合在一起	提取不同模态的数据的特征，将提取的特征融合在一起	每类传感器基于自己的数据做出决策，然后由融合规则给出融合结果，方法包括最大值，求和，模糊积分等

一种基于情感脑电信号时-频-空特征的3D密集连接网络

论文链接

该研究提出了一种基于注意力机制的3D DenseNet对多媒体刺激产生的情感脑电信号进行分类，该模型在统一的框架下同时提取数据中的空间、频率、时间特征；并且设计了一种3D注意机制来自适应地探索具有判别力的局部模式提升情绪分类效果。