付心仪,蔡天阳,薛程,张宇翔,徐迎庆.基于BGRU-FUS-NN神经网络的姿态情感计算方法研究[J].计算机辅助设计与图形学学报,2020,32(07):1070-1079.

Abstract

情感计算研究是近些年人机交互领域的热门研究方向,其相关研究目前主要集中在面部表情和语音模态,基于姿态模态的情感计算研究相对较少.文中提出了一种基于姿态的新型情感计算算法,利用虚拟现实(VR)设备来唤醒用户的情感,使用摄像机采集用户的非表演动作数据,重新定义了19个人体运动关键点,将用户动作数据转换为相应骨骼点的3D坐标.在已有的基本特征的基础上,加入了高级动态特征,构造了一个能够更加完善地描述肢体运动的80D特征列表.在融合神经网络模型(FUS-NN)的基础上,使用循环门控单元(GRU)替代长短期记忆神经网络(LSTM),并添加正规层(Layer-Normalization),丢弃层(Layer-Dropout)和减少堆叠层数等策略,提出了双向循环门控单元融合神经网络(BGRU-FUS-NN)模型.使用了基于唤醒(arousal)和效价(valence)的情感模型进行情感分类,针对4分类任务和8分类任务,准确率比FUS-NN模型分别提升了7.22%和5.15%.