选择触觉交互

Haptic Interaction

在视觉、听觉、触觉（肤觉和本体感觉）、嗅觉和味觉这五种主要感官中，前三种占据了人机交互界面研究的绝大部分。其中，大部分工作是在视觉和听觉模态上进行的。从历史上看，触觉感知的工作一直作为视力或听力受损者的感官替代系统。

皮肤是人体最大的器官。如果没有触觉，我们甚至不能优雅地完成拾取物体这样最简单的任务。在没有任何触觉传感器的情况下，单靠计算机视觉的机器人手在拾取玻璃或鸡蛋等精致物体时，通常会将其挤碎或掉落，根本无法拿稳。

随着人工智能、5G和大数据的发展，下一代智能交互的赛道更多偏向多模态感官的智能交互。因此我们将在包括触觉在内的人机交互领域中开展研究，创造具有“触觉”的机器人和物体。

其实，当我们谈及“触觉交互”，也就是在探讨“体验设计”。相比于其它感官，触觉是唯一一个既能输入，也能输出的通道，它给用户带来的“感知”和“操作”更偏向主观的感觉。因此，触觉与体验密不可分。

Figure 1. 触觉交互的三种类型

01 ——

盲人触觉图形显示设计研究

Research on graphical tactile display for the visually impaired

1.1 现状问题

Figure 2. 全球及中国视力受损人群数据

• 世界卫生组织2020年报告显示，全球约有2.53亿视觉受损人口，包括3600万全盲患者。

• 英国《柳叶刀》杂志在2017年指出，根据1990年至2015年间的统计数据估计，随着人口数量的增加和老龄化，到2050年全球全盲人群的数量可能将会增加至1.15亿。

• 我国2012年残疾人联合会残疾人概况报告显示，2010年末，中国视力残疾人数为1263万。

• 同时，根据中国教育部2019年年鉴数据，仅有大约4万视力残疾儿童涵盖在国家教育系统中。

许多视力障碍患者由于残疾、出行条件、经济条件、学校容积等原因无法接受义务教育，这对视障患者、社会和国家都造成了很大影响，视障人群的学习问题也受到了越来越多的关注。

1.2 信息时代，盲人图像学习及网络应用的障碍

随着技术的发展，今天盲人已经可以通过盲文进行书面文字学习，也可以使用读屏器等语音辅助软件来通过声音进行交流。

但是目前极度缺乏帮助盲人有效学习和理解图形信息（如：数学中的几何知识、物理中的电路知识、以及医学知识中的经络分布等）的工具和设备。

对此，传统的方法是通过不同的材料制作盲人学习专用的触觉图形，比如压印、盲文触点打印、热塑等方式。这类触觉图形的内容种类有限，制作过程较为复杂，体积相对较大，无法实时、动态地承载触觉信息，且不易长时间保存；无法满足信息时代盲人学习和生活的需求。

Figure 4. 纸质触觉图形举例 [1]

相对应的，如何研发能够实时刷新、将视觉的像素替换成触点的数字化触觉终端成为我们所面临的一个巨大的挑战。通过可以刷新的触觉图形显示设备，盲人即可用手感知屏幕中的触觉图形，从而以一种自然的交互方式理解触觉图形。

Figure 5. 课题组设计研发的触觉图形显示设备原型

1.3 触摸图形设计：需求采集和分析

面向盲人的触觉交互研究课题组，为研究触觉图形及其认知特点，邀请北京盲人学校、北京联合大学特殊教育学院等单位的专家进行专题研讨，并对盲生现有教学材料进行收集。

Figure 5-11.  在国家标准全文公开系统中，现行有七项关于盲文的推荐性国家标准，至2021年仍在更新扩充中。

1.4  触觉交互设计的用户体验分析与研究

与视觉显示相似，触觉显示也有分辨率，人手指能够感知的分辨率约为2.5mm，因此该分辨率也就是盲文的排列间距。

对于盲生而言，触觉感知是从局部到整体的认知过程，他们必须通过连续的跟随刺激，收集信息，并进行整合分析。

在认知过程中，需要采取主动探索/触摸引导相结合的模式：

• 相对复杂的图像——触摸引导

• 相对简易的图像——主动探索

此外，课题组发现，触听觉沉浸式认知，能显著提高盲人对图像的认知能力。

触觉的信息获取速度慢于视觉，因此对于一般的视觉化图形图像，需要对信息进行分层和缩减，并简化透视关系，如下图触觉图形设计案例所示。

Figure 13. Guidelines and Standards for Tactile Graphics [2]

1.5  显示终端应用场景设计

触觉图像终端始终致力于成为盲人访问互联网的接口，盲人用户可以通过触觉理解互联网丰富的图像信息，并借助语音说明辅助，实现触听觉同步理解图形图像的良好体验。

Figure 9. 显示终端应用场景设计

1.6  触觉图形显示终端界面设计

• 课题组结合硬件设备特点设计软件及交互界面，并开展用户测试与设计迭代

• 课题组设计并研发了面向盲人的触觉交互系统，并适配于触觉反馈显示设备

在触觉引导系统设计方面，课题组新增一组平面移动的滑台结构设计，引导环悬浮于触摸面板上方，为盲生营造“手把手”的触摸辅助体验。

Figure 15-16. 触觉图形显示终端实体机界面设计

1.7 盲人教学示范课程

课题组与北京盲人学校的一线数学老师合作，了解到目前盲人学校的数学教学通常包括“盲文+盲文的数学表达式+纸质触觉图形图像”三部分，受限于纸质触觉图像的制作成本，触觉图像的使用受到限制，为教学工作带来了困难。

相较于传统教学方式，使用触觉图形显示设备能使盲人学生更方便地学习一些图形知识点，并且“图文并茂”，显著提升学习效果。