人机物融合及其前沿探索
简介

改-家居环境-01.jpg随着人工智能(Artificial Intelligence, AI)、物联网(Internet of Things, IoT)、大数据、5G等科技的迅猛发展,我们所处的信息社会,正在逐渐向智能社会转型过渡,传统家居也越来越多地被赋予智能要素,智能音箱、智能电灯、智能冰箱等细分领域的智能家居产品,已经深度渗透进我们的日常生活中。

在科研探索层面,智能家居是学科高度交叉的综合研究方向,是与人类活动高度相关的科研领域,涉及人机交互、人工智能、计算机视觉、物联网、用户体验、心理学等学科和领域的综合交叉融合。相关实验平台建设和相关理论与技术的创新,对于深度理解人类行为模式和情感交流方式具有重要作用,符合下一代人工智能“以人为本”的核心诉求。

传统家居的人机交互理论与方法,普遍基于单一智能产品及其应用场景,缺乏普适性和整体性。同时,其目标通常以提高产品的易学性、易用性、用户粘度等维度为主,忽略了用户的行为意愿和情感体验,因此急需更智能、更精准、更自然的多模态人机交互理论与方法。

研究内容-改-01.jpg面向未来的智能家居,将打破现有的智能产品孤岛模式,由单体“智能”向整体“智慧”转型,融合AI、5G、IoT等技术,以用户为中心,提供一整套智能化、个性化、人性化的多模态人机交互产品和解决方案,为用户打造家居环境和家居实体相融合的智慧、舒适、温馨、便捷的个性化家居体验。

基于上述相关背景、存在问题以及科研实践,清华大学未来实验室未来人居与情感计算课题组,将致力于探究面向智能家居的用户行为和情感理解以及多模态人机交互理论与方法。目前,清华大学未来实验室未来人居课题组主要计划开展感知、思考、执行三个方面的研究,这些研究彼此支撑、优化、验证,形成良性循环。

进展

硬件环境搭建中

已经建设了未来智能家居的原型空间,正在实现不同智能终端设备的互融互通、数据共享。

智能家居环境下人的行为和情感海量数据库

正在进行深度的用户调研和用户画像刻画,正在采集用户的多源异构大数据,形成智能家居环境下人的行为和情感海量数据库。

基于智能感知的多模态人机交互理论与方法研究

融合听觉、视觉、触觉等模态,构建多元信息和多模态交互的耦合模型,实现自然交互和优质体验的智能家居典型示范应用。

多元信息耦合.png