科学研究

基于情感计算的交互设计

项目简介

在人机语音对话交互中考虑情感信息,使机器具备理解、回应人的情感的能力,以此完成更好的人机对话。在人机交互中,用户的许多行为都透露着丰富而微妙的情感信息,利用最新的情感计算技术,可以从听觉、视觉等各个模态对用户的情绪状态进行识别。利用用户的情感输入,可以提高对话效率,例如内容推荐服务可以更精准,此外,还可以拓展新的人机对话方式、对话内容,以满足更多的用户需求,例如,情感陪伴等。


项目进展

第一阶段 - Emojilization 语音情绪自动识别标注系统及情感化语音交互设计框架 

Emojilization是融合语音信号中的语义特征和声学特征来识别情绪的系统,识别结果以emoji表情符号的形式标注在语音识别的文本中。

细节可参考论文: Hu, J., et al. (2019). Emojilization: An Automated Method For Speech to Emoji-Labeled Text. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems, ACM. https://doi.org/10.1145/3290607.3313071image001.png

image005.png

image003.png


第二阶段:Heard yoUr Emotion 语音情绪反馈系统

HUE语音情绪反馈系统可以根据语音情绪识别的结果动态的调整对话内容,具体的,HUE在回复中加入语气词来制造共情感,并根据人的情绪管理规律调整回复的语义内容。

细节可参考论文:

- 胡佳雄, 徐迎庆. 情感语音聊天机器人"护甲熊"[J]. 装饰, 2019, No.314(06):26-27.

- Hu, J., Huang, Y., Hu, X., & Xu, Y. (2021, May). Enhancing the Perceived Emotional Intelligence of Conversational Agents through Acoustic Cues. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1-7).

Artboard 1@4x.jpg

Demo 情感语音聊天机器人“护甲熊”


第三阶段:对话模式的转变 - 追问生成研究

为了创造更加情感化的人机对话场景,机器的提问能力十分重要。通过适当的追问,机器可以帮助人叙述经历和表达情绪。因此,现阶段研究组正在探索利用最新的自然语言处理技术来赋能新的对话系统设计。