摘要:来自北京航空航天大学教授王党校通过案例详解触觉认知与人机交互。本报告以信息技术的三个时代(个人电脑时代、虚拟现实时代、人工智能时代)为发展脉络展开,首先以视听触反馈口腔手术模拟器为例,介绍个人电脑时代的桌面式触觉反馈,进一步介绍虚拟现实时代穿戴式触觉交互的最新进展,最后介绍人工智能时代触觉交互与脑机接口技术的融合,即认知触觉的研究进展和潜在应用。
讲座摘要
在人的五种基本感觉通道中,触觉被称为“感觉之母”,人类与物理世界交互时,触觉信息无时无刻不在使用,但在人与计算机的交互中,人的触觉感知能力基本被闲置。本报告以信息技术的三个时代(个人电脑时代、虚拟现实时代、人工智能时代)为发展脉络展开,首先以视听触反馈口腔手术模拟器为例,介绍个人电脑时代的桌面式触觉反馈,进一步介绍虚拟现实时代穿戴式触觉交互的最新进展,最后介绍人工智能时代触觉交互与脑机接口技术的融合,即认知触觉的研究进展和潜在应用。
嘉宾介绍
王党校教授任职北京航空航天大学教授,博士生导师。虚拟现实技术与系统国家重点实验室副主任。北京航空航天大学机器人研究所副所长。美国斯坦福大学、瑞典卡洛琳斯卡医学院、美国北卡罗来纳大学访问学者。曾任亚洲触觉会议(AsiaHaptics 2020)主席(General Chair),国际电气和电子工程师协会(IEEE)触觉技术委员会主席,IEEE Transactions on Haptics编委(Associate Editor),IEEE Transactions on Industrial Electronics客座编委(Guest Editor)。IEEE高级会员,中国计算机学会高级会员,中国机械工程学会高级会员。中国计算机学会人机交互专业委员会常委。
其研究领域包括机器触觉、认知触觉、脑机交互、医用机器人。第一和通讯作者发表IEEE Transactions论文30余篇,出版Springer英文专著1部。获教育部技术发明一等奖,中国电子学会科技进步奖一等奖。机器人和自动化领域顶级国际会议IEEE International Conference on Robotics and Automation (IEEE ICRA 2011)最佳论文提名,触觉领域知名会议(EuroHaptics 2016)最佳论文提名。全国人机交互学术会议(CHCI 2020)最佳论文奖。
现场总结
触觉是人类感知和运动的基础,人类与物理世界交互时,无时无刻离不开触觉的参与和肌肉的精细控制。但是,在传统的人机交互范式中,触觉感知通道基本被闲置。围绕触觉交互,王党校教授团队主要研究的两个核心科学问题是:使用机器提供触觉刺激作用在皮肤表面,通过面向精细操作的触力觉渲染算法等技术的研发,“接管”和“欺骗”人的触觉感受器官(机器触觉),以及探索采用触觉交互作为一种观测和调控人脑的手段,以促进对于人类大脑认知机制的可塑化的基础理论研究(认知触觉)。
机器触觉的发展经历了个人电脑时代的桌面触觉设备阶段、移动设备时代的屏幕触觉设备阶段,一直到虚拟现实和人工智能时代的可穿戴触觉设备阶段。相对于前两个阶段基于操作的触觉需求,当面对沉浸式的虚拟环境时,人类触觉交互的本能就会被启动。而实现触觉渲染的媒介将从现有的刚性、沉重的外骨骼设备会逐渐向轻便、柔性的可穿戴设备转变。未来,也许“创口贴”式的新型材料将会有助于实现更加具有“隐藏性”的、让用户几乎感知不到的触觉交互界面。
在认知触觉方面,王党校教授团队关注从人工智能(Artificial Intelligence)向智能增强(Intelligence Augmentation)的前沿理论探索和技术开发。基于精细操作和工具的使用对大脑的可塑性有很重要的作用,而脑机触觉交互给对于大脑认知观测和训练提供了新的模式。团队采用“神经反馈能控性理论”,将自动控制理论引入到触觉认知科学领域,采用虚拟现实环境和定制化的精细运动,实现人脑感知-认知状态的精准靶向调节和控制。潜在的应用方向包括神经康复、认知强化和可塑学习等。
触觉交互相关理论、技术和设备的开发,将逐步使得虚拟世界的数字化物体变得可触摸,以及物理世界中与人密切接触的机器(人)变得更加柔顺安全,进而实现更加自然的人机交互未来。