论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9868797

作者：刘峰、王晗阳、沈思源、贾迅、胡静怡、张嘉淏、王曦怡、雷颖、周爱民、齐佳音、李志斌

单位：华东师范大学、上海对外经贸大学

摘要：近年来，如何将情感心理学基础理论中的深度交叉融合和可解释的认知模型方法与深度学习等算法相结合，是一个难点。为了解决这个问题，我们构建了一个整合了基于fer2013表情特征的VGG-面部动作编码系统(FACS)-OCC模型和情感心理学基础理论中的OCC-愉悦-焦虑-优势(PAD)-开放性、自觉性、外向性、合群性和神经质（OCEAN)融合的认知模型，即基于计算情感的OCC-PAD-OCEAN联合认知模型(OPO-FCM)。通过构建该模型并进行形式化证明算法，表明OPO-FCM可以获取视频流中的表情特征，通过训练深度神经网络完成视频中表情特征的获取，通过建立的表情-基本情绪-情绪空间映射关系将表情映射到PAD情绪空间，最后完成一段时期内平均情绪的映射。通过它获得人格空间的信息。最后，对该模型进行了实验模拟，结果表明，有效测试的人格预测平均准确率为79.56%。本文以情感心理学的知识驱动为出发点，结合深度学习技术构建了可解释的认知模型，从而为未来计算机技术与心理学理论的交叉创新提供了新思路。

关键字：心理学, 可计算建模, 情感识别, 大脑建模, 深度学习, 特征提取, 人脸识别

01 动机介绍

目前部分交叉创新研究在推进心理学理论的计算与量化，但心理学理论仍然以传统的定性结论为主，难以给计算机的算法实现提供直接的量化模型支持。此外，计算机的算法程序也无法准确表达出心理学中的情绪理论与情绪模型，两者之前存在较大壁垒。现存的大多数研究通常只从计算机科学或心理学其中一个角度考虑，而非从交叉融合的视角。与此同时，虽然目前基于深度学习的人脸表情识别技术已经较为完善，但利用深度学习技术来处理心理学信号的研究仍处于起步阶段。因而从情绪心理学基础理论出发，融合深度学习等算法进行深层次融合的认知建模方法仍然比较欠缺，如何在高效处理认知问题的同时提升模型的可解释性也是一个关键问题。本文在已有研究的基础上，通过情绪心理学的情感建模方法与计算机深度学习算法相结合，利用深度学习框架 VGG19构建基于 CK+表情特征的FACS-OCC 情感建模方法来获得情感特征，结合基于情感的 OCC-PAD-OCEAN 联邦认知建模方法获取被试的大五人格信息。实验仿真结果表明：模型有效测试的人格平均准确率在79.56%。以情绪心理学的知识驱动作为出发点,结合深度学习技术来构建具备可解释性的认知模型,为未来计算机技术与心理学理论交叉创新提供新思路。

图1. 我们提出的OPO-FVM认知模型过程

02 模型方法

我们提出的OPO-FCM模型共包括两个模块：基于CK+表情特征的VGG-FACS-OCC情感建模和基于情感的OCC-PAD-OCEAN联邦认知建模。

2.1 基于CK+表情特征的VGG-FACS-OCC情感建模

VGG 是一类具有强大图像特征提取能力的经典深度卷积神经网络，本文以在 CK+数据集上训练的 VGG-19 作为视频-情感空间推理模型，从被试自然谈话的视频中经过 VGG-19 推理得出其情感空间表示。视频到情感空间向量的映射，可以视为视频中每一帧图像到情感空间向量映射的算术平均。任意自然谈话视频V可表示为帧序列（F1, F2, …, Fn）。VGG 可将任意帧F转化为 OCC 向量E：

通过视频推理整体 OCC 向量的过程上文已经给出，下面主要讨论如何通过 VGG 将单帧图像转化为 OCC 向量。假设要推理的图片I为如公式所示的像素矩阵：

对于本文中的 OCC 情感分类问题，标签为六种情感维度。通过批量梯度下降方式对 VGG 模型以 CK+数据集进行训练，最小化目标函数 L，随着模型参数的调整，VGG 的隐藏层就可以进行 FACS 特征的提取，最终得到具体的 OCC情感向量如表2所示。

表1. 基于CK+表情特征的FACS-OCC情感映射表

2.2 基于情感的OCC-PAD-OCEAN联邦认知建模

首先，分别介绍情感空间、心情空间、个性空间的含义及其向量表示形式。

（1）情感空间(OCC)。情感反映人的短期状态，由于收到外界条件的变化或刺激在短时间内发生较大变化。OCC 情感模型作为情绪合成的标准模型指定了 22 种情绪类别，基于 Ekman 关于所有非基本情绪可以由基本情绪合成的理论，采用其定义的六种基本情感构建情感空间，即愤怒(anger)、厌恶(disgust)、恐惧(fear)、高兴(happiness)、悲伤(sadness)、惊奇(surprise)，以向量形式表示如下，其中各元素取值范围为[0,1]，表示情感的强度。

（2）心情空间(PAD)。心情作为情感与个性的中间量，反映的是人在一段时间内的情感状态。从测量的角度来看，心情可以通过平均个体在一段时间内的情感状态来得到，然而由于离散情感状态(如愤怒、厌恶、恐惧、高兴、悲伤)的组合不能有意义地平均，因此需要一个概念性的系统来构建情绪的基本维度，于是引入由相互独立的三维构成的 PAD 心情空间，即愉悦度 Pleasure(P)、唤醒度 Arousal(A)、支配度 Dominance(D)，以向量形式表示如下，元素取值范围为[-1,1]。

（3）个性空间(OCEAN)。个性反映了个体之间在心理特征上的差异，在长期的过程中都不会发生较大改变，采用大五人格模型构建个性空间，其5个因子分别为：开明性 (openness) ，责任性(conscientiousness)，外向性(extraversion)，宜人性(agreeableness)，神经质(neuroticism)，以向量形式表示如下，元素取值范围为[-1,1]。

（4）情感空间到心情空间的映射。三维心情 PAD空间与情感的量化映射关系，具体见下表 3所示。其中情感惊讶(surprise)在原始 PAD 量表中无对应PAD值，通过观察原始量表中与惊讶相似的情感对应的 PAD 值，进行分析后假定其 PAD 值分别为0.20、0.45、-0.45。

表2 三维心情PAD空间与情感量化映射表

（5）心情空间到个性空间的映射。Mehrabian 通过线性回归建立如下由心情空间到个性空间的转换关系。由于 Sophistication 和 Openness 都源于Cultural，因此本文假定 Sophistication 近似认为与 Openness 同义。Emotional stability述的是个人情绪的稳定性而Neuroticism述的是个体情绪的不稳定性。因此假定Emotional stability 与 Neuroticism 互为反义。从而得到由心情空间 PAD 到个性空间 OCEAN的转换关系：

表情数据映射到心情空间，将心情数据映射到人格空间，最终得到人格信息流程如下：

图2. EFCM认知模型的数据处理过程示意图

03 实验

3.1 数据集

为证实提出的认知建模及其计算机实现的可行性，本研究开展了相关实验，根据心理学实验标准程序与规范招募了31名被试构建真实环境下的数据集XXX，相关数据集可以通过访问XX获取。实验过程如下，先对被测进行一段5-10分钟的访谈，访谈的内容以激发回忆与情感为主，同时，实验中用摄像机记录下被试的表情。在访谈完成后，被测填写传统大五人格量表。最后，通过对量表实验结果与传统大五人格量表的结果分别进行分析，来实证模型的有效性。

3.1 实验对比

以被试ID为“lf”的视频数据为例进行处理流程如上图2所示。EFCM认知模型数据处理主要过程如下，在大五人格实验中首先与被试进行访谈，获取其视频流信息，之后利用VGG-19基于FACS-OCC情感建模将视频流数据处理为情感OCC特征数据，在结合OCC-OCEAN的认知建模处理来最终获取被试的时序人格数据，并最终获取加权人格数据。

图3. EFCM认知模型处理示意图

具体的处理流程如下。首先，通过基于CK+表情特征的FACS-OCC情感建模，来从被试的视频流信息中获取OCC的六个表情维度时序数据，该过程处理后的六维OCC情感时序数据如下图3所示。被试在实验过程中OCC情感激活情况在快乐（happy）与悲伤（sad）两种的情绪上进行不同程度的波动，且较为频繁，而在愤怒（Angry）、尴尬（Disgust）、恐惧（Fear）、与惊喜（Surprise）四种表情的激活相对有限。同时，根据上述输出的OCC六维情感时序数据，通过情感空间到心情空间的映射处理，获取PAD的时序数据如下图4所示。最终，结合的Mehrabian心情空间到个性空间的转换理论可以最终获取到动态人格识别数据。同时结合心理学传统的大五人格量表（图中蓝色点）结果，如下雷达图5所示。

图4. 视频所有帧中OCC六个情感维度时序数据图

图5. 视频所有帧中PAD心情空间的时序数据图

图6. 基于EFCM认知模型输出的人格雷达图

所有被试数据如下表3所示：

表3 EFCM认知模型的全体被试五种人格偏差率