选择触觉交互
Haptic Interaction
在视觉、听觉、触觉（肤觉和本体感觉）、嗅觉和味觉这五种主要感官中，前三种占据了人机交互界面研究的绝大部分。其中，大部分工作是在视觉和听觉模态上进行的。从历史上看，触觉感知的工作一直作为视力或听力受损者的感官替代系统。
皮肤是人体最大的器官。如果没有触觉，我们甚至不能优雅地完成拾取物体这样最简单的任务。在没有任何触觉传感器的情况下，单靠计算机视觉的机器人手在拾取玻璃或鸡蛋等精致物体时，通常会将其挤碎或掉落，根本无法拿稳。
随着人工智能、5G和大数据的发展，下一代智能交互的赛道更多偏向多模态感官的智能交互。因此我们将在包括触觉在内的人机交互领域中开展研究，创造具有“触觉”的机器人和物体。
其实，当我们谈及“触觉交互”，也就是在探讨“体验设计”。相比于其它感官，触觉是唯一一个既能输入，也能输出的通道，它给用户带来的“感知”和“操作”更偏向主观的感觉。因此，触觉与体验密不可分。
Figure 1. 触觉交互的三种类型
01 ——
盲人触觉图形显示设计研究
Research on graphical tactile display for the visually impaired
1.1 现状问题
Figure 2. 全球及中国视力受损人群数据
世界卫生组织2020年报告显示，全球约有2.53亿视觉受损人口，包括3600万全盲患者。
英国《柳叶刀》杂志在2017年指出，根据1990年至2015年间的统计数据估计，随着人口数量的增加和老龄化，到2050年全球全盲人群的数量可能将会增加至1.15亿。
我国2012年残疾人联合会残疾人概况报告显示，2010年末，中国视力残疾人数为1263万。
同时，根据中国教育部2019年年鉴数据，仅有大约4万视力残疾儿童涵盖在国家教育系统中。
许多视力障碍患者由于残疾、出行条件、经济条件、学校容积等原因无法接受义务教育，这对视障患者、社会和国家都造成了很大影响，视障人群的学习问题也受到了越来越多的关注。
1.2 信息时代，盲人图像学习及网络应用的障碍
随着技术的发展，今天盲人已经可以通过盲文进行书面文字学习，也可以使用读屏器等语音辅助软件来通过声音进行交流。
但是目前极度缺乏帮助盲人有效学习和理解图形信息（如：数学中的几何知识、物理中的电路知识、以及医学知识中的经络分布等）的工具和设备。
对此，传统的方法是通过不同的材料制作盲人学习专用的触觉图形，比如压印、盲文触点打印、热塑等方式。这类触觉图形的内容种类有限，制作过程较为复杂，体积相对较大，无法实时、动态地承载触觉信息，且不易长时间保存；无法满足信息时代盲人学习和生活的需求。
Figure 4. 纸质触觉图形举例 [1]
相对应的，如何研发能够实时刷新、将视觉的像素替换成触点的数字化触觉终端成为我们所面临的一个巨大的挑战。通过可以刷新的触觉图形显示设备，盲人即可用手感知屏幕中的触觉图形，从而以一种自然的交互方式理解触觉图形。
Figure 5. 课题组设计研发的触觉图形显示设备原型
1.3 触摸图形设计：需求采集和分析
面向盲人的触觉交互研究课题组，为研究触觉图形及其认知特点，邀请北京盲人学校、北京联合大学特殊教育学院等单位的专家进行专题研讨，并对盲生现有教学材料进行收集。
Figure 5-11. 在国家标准全文公开系统中，现行有七项关于盲文的推荐性国家标准，至2021年仍在更新扩充中。
1.4 触觉交互设计的用户体验分析与研究
与视觉显示相似，触觉显示也有分辨率，人手指能够感知的分辨率约为2.5mm，因此该分辨率也就是盲文的排列间距。
对于盲生而言，触觉感知是从局部到整体的认知过程，他们必须通过连续的跟随刺激，收集信息，并进行整合分析。
在认知过程中，需要采取主动探索/触摸引导相结合的模式：
相对复杂的图像——触摸引导
相对简易的图像——主动探索
此外，课题组发现，触听觉沉浸式认知，能显著提高盲人对图像的认知能力。
触觉的信息获取速度慢于视觉，因此对于一般的视觉化图形图像，需要对信息进行分层和缩减，并简化透视关系，如下图触觉图形设计案例所示。
Figure 13. Guidelines and Standards for Tactile Graphics [2]
1.5 显示终端应用场景设计
触觉图像终端始终致力于成为盲人访问互联网的接口，盲人用户可以通过触觉理解互联网丰富的图像信息，并借助语音说明辅助，实现触听觉同步理解图形图像的良好体验。
Figure 9. 显示终端应用场景设计
1.6 触觉图形显示终端界面设计
在触觉引导系统设计方面，课题组新增一组平面移动的滑台结构设计，引导环悬浮于触摸面板上方，为盲生营造“手把手”的触摸辅助体验。
Figure 15-16. 触觉图形显示终端实体机界面设计
1.7 盲人教学示范课程
课题组与北京盲人学校的一线数学老师合作，了解到目前盲人学校的数学教学通常包括“盲文+盲文的数学表达式+纸质触觉图形图像”三部分，受限于纸质触觉图像的制作成本，触觉图像的使用受到限制，为教学工作带来了困难。
相较于传统教学方式，使用触觉图形显示设备能使盲人学生更方便地学习一些图形知识点，并且“图文并茂”，显著提升学习效果。
实验结果显示，客观知识点方面，所有13位盲人学生在课程学习后掌握的知识点都增加了。在全部10个知识点中，有12位盲人全部掌握，仅有一位实验者没有掌握1个知识点。该示范课程能显著地帮助盲人学生的知识学习。
盲人用户主观评价方面，我们设置了1-7分（非常负面-非常正面）的主观评价选项。绝大部分的主观评分都是正向的，甚至在各维度共260个分数中，有159个“7分-非常正面”的反馈。从整体的可用性和易用性角度，平均分都在6分以上，可见盲人用户同意或非常同意该学习方式能够帮助勾股定理和三角函数的学习和理解，且学习方法易于使用，感到舒适。从图形显示、分布式显示、语言讲解、引导环4个分项角度，平均分也都高于6分，说明它们的可用性、易用性都非常好。针对未来是否愿意自己使用和推荐给别人使用的问题，所有盲人都给出了非常正向的反馈，平均分为6.69和6.92。说明该学习方式有非常大的应用市场和空间。
另外，基于该触觉图形显示设备，课题组将目前盲校通用的人教版教科书进行了数字化，从而能在该显示设备上显示，特别是把所有的插图转化为数字的表达形式，并且可以通过上网学习。在完成文字内容数字化的同时，还针对一些涉及到图像知识的内容，增添了触觉图像信息，辅助盲人同学的学习理解。
基于音节的触觉显示器设计研究
Research on a phonemic tactile display for speech communication
通过触觉来实现语言的表达是近几十年来一个非常重要的研究方向。例如摩尔斯电码就是一个应用案例：用户通过触觉按压电路开关，将字母变为二值编码。此外相关研究还有手指拼写（FingerSpelling）与“TADOMA”方法等。其中TADOMA是聋盲人进行沟通的方法。聋盲人将手放在对话者的下颌和喉咙处，对方在说话时会产生气流的振动。同时，聋盲人依靠触觉感受该气流振动，从而推测说话人的语言。研究证明，聋盲人确实能够有效地使用此方法进行交流，其信息信道容量达12bit/s [3]。
同样的，目前也有很多基于触觉的语言交流辅助设备。在研究分析目前的触觉辅助设备进展后，我们开发了一种适用于所有场景的触觉语言交流设备。该设备使用了24个振动器，并穿戴在用户的小臂上。我们基于英语，将英语体系中所有的音节（根据美国IPA对英语的规定，包括15个元音和24个辅音音节）分别通过触觉编码，一一对应了这些振动器的振动方式。用户通过科学的学习方法，记住这些触觉振动的方式(pattern)，并对应到音节，从而理解表达的英语单词、词组和句子。我们先后邀请了51位实验参与者，通过数分钟到数小时的学习和使用，他们都可以分辨并记忆所有39个音节，并且认识几十至几百个英文单词。
Figure 23. 基于音节的触觉显示器TActile Phonemic Sleeve (TAPS)
面向听障人群的触觉化音乐体验设计研究
Tactile music experience design for the hearing impaired
根据世界卫生组织[4]和中国残联[5]的数据，全球有4.3亿听力受损人士，中国的听障人群高达2054万。依靠手语和一些现代化辅助技术和服务，听障人士能够在一定程度上保障自身日常生活的安全和相互之间的交流，然而在参与大多数社会活动时仍会遭遇诸多不便，无法满足他们日益增长的社会交往和自我发展的需求。
除了作为生存、学习和交流的基础，听觉对人类的一大重要用途即是对于音乐的感知和欣赏。音乐体验是一种非功利性的审美体验，听音乐对于大部分人来说是生活中不可或缺的一部分，也是塑造个性和审美取向、增进人际沟通、建立情感连接的一项重要活动。虽然听觉通道受损，听障人士也有欣赏音乐的需求、能力和权利。
声波的本质是一种振动，而触觉与听觉对于振动感知模式都是物理性的，尤其在对节奏的感知上具有天然的一致性。研究发现聋人尤其在振动触觉刺激方面表现出一些认知加工优势[6]。对于听觉受损的听众来说，仅仅使用视觉通道来接受音乐信息会给视觉造成较大的认知负担，而触觉通道则具备客观表现听觉信息、沉浸感强、听障人群感知敏锐度高等特点。
Figure 25. 课题组整理的现有世界范围内诸多团队基于振动触觉开展的面向听障人士的音乐音响体验设计。
清华大学未来实验室音乐可触化课题组基于感官代偿和多通道感知的设计方法，旨在将触觉和动觉引入听障听众的音乐体验当中，突破因听觉受损所造成的感知壁垒，更好地保障他们对听觉艺术的理解、赏析、创造的能力和权利，进而改善和提高他们的生活质量和生命体验。
焦阳，龚江涛，徐迎庆，盲人触觉图像显示器Graille设计研究[J]，装饰,2016，01：094-096
焦阳，龚江涛，史元春，徐迎庆，盲人触觉图形显示器的交互体验研究[J]，计算机辅助设计与图形学学报，2016，28(9):1571-1576
焦阳，面向盲人触觉认知的触觉显示与体验研究 [M]，北京：清华大学出版社，2019
Jiangtao Gong, Wenyuan Yu, Long Ni, Yang Jiao, Ye Liu, Xiaolan Fu, and Yingqing Xu. 2020. ”I can’t name it, but I can perceive it” Conceptual and Operational Design of ”Tactile Accuracy” Assisting Tactile Image Cognition. In The 22nd International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS '20). Association for Computing Machinery, New York, NY, USA, Article 18, 1–12. DOI: https://doi.org/10.1145/3373625.3417015
Yang Jiao, F. M. Severgnini, J. S. Martinez, J. Jung, H. Z. Tan, C. M. Reed, E. C. Wilson, F. Lau, A. Israr, R. Turcott, K. Klumb, F. Abnousi, A Comparative Study of Phoneme- and Word-Based Learning of English Words Presented to the Skin. In: Prattichizzo D., Shinoda H., Tan H., Ruffaldi E., Frisoli A. (eds) Haptics: Science, Technology, and Applications. EuroHaptics 2018. Lecture Notes in Computer Science, vol 10894. Springer, Cham. https://doi.org/10.1007/978-3-319-93399-3_53
H. Z. Tan, C. M. Reed, Yang Jiao, Z. D. Perez, E. C. Wilson, J. Jung, J. S. Martinez, F. M. Severgnini, "Acquisition of 500 English Words through a TActile Phonemic Sleeve (TAPS)," in IEEE Transactions on Haptics, vol. 13, no. 4, pp. 745-760, Oct.-Dec. 2020, doi: 10.1109/TOH.2020.2973135.
Guidelines and Standards for Tactile Graphics[M]. Baltimore: Braille Authority of North America, 2010
C. M. Reed, W. M. Rabinowitz, N. I. Durlach, L. D. Braida, S. Conway-Fithian, and M. C. Schultz, “Research on the Tadoma method of speech communication,” J. Acoust. Soc. Amer., vol. 77, no. 1, pp. 247–257, 1985.
World Report on Hearing, WHO, 2021.3.3, https://www.who.int/news-room/ events/ detail/ 2021/03/03/ default-calendar/launch-of-the-world-report-on-hearing
2010年末全国残疾人总数及各类、不同残疾等级人数，中国残疾人联合会，2012.6.26，https://www.cdpf.org.cn/zwgk/zccx/cjrgk/4c0d47abe6a3414790d4ee786553fb65.htm
Levänen, S.; Hamdorf, D. Feeling vibrations: Enhanced tactile sensitivity in congenitally deaf humans. Neurosci. Lett. 2001, 301, 75-77.
