科学研究

大幅面触觉图形显示终端

项目简介

世界卫生组织2020年报告显示,全球约有2.53亿视觉受损人口,其中3600万是全盲患者。英国柳叶刀杂志在2017年指出,根据1990年至2015年间的统计数据估计,随着人口数量的增加和老龄化,到2050年时,全球全盲人群的数量可能将会增加至1.15亿。这对全人类来说是一个巨大的挑战。作为世界人口最多的国家,我国2012年残疾人联合会残疾人概况报告显示,2010年末中国视力残疾人数为1263万。同时根据中国教育部2019年年鉴数据,仅有大约4万视力残疾儿童涵盖在国家教育系统中。绝大多数视力障碍患者由于残疾、出行条件、经济条件等原因无法接受义务教育,这对视障个人、对社会和国家都造成了很大影响,视障问题也受到了越来越多的关注。

由于视力受损,盲人主要依靠听觉和触觉获取信息。随着科技的发展,互联网的普及,使盲人有了更多的机会与外界交流,也有了更多的职业选择机会。但是,当图片、视频等视觉信息成为知识传播中信息的主要来源,特别是互联网上的视觉内容日益丰富的时候,对于盲人朋友而言,反而是一个巨大的障碍。因此,盲人迫切地需要可以便捷地阅读图像信息的无障碍设备。

大幅面触觉图形显示终端研究项目的产品与传统的计算机屏幕不同,触觉图形显示终端的表面由可以凸起和收回的点阵组成。通过计算机控制这些点阵的变化,可以把传统的图片变成可以触摸的图形。盲人用户通过触摸这些凸起点阵所组成的盲文或触觉图形来阅读文字和认知图片。

该设备的研发可以进一步推动众多针对盲人用户的无障碍应用的发展,例如:电子盲文图书的普及、盲人用户上网学习、购物、和浏览,并且使得盲人学习诸如数学几何、物理电路、化学结构等图形化知识的时候更加便利。今后,盲人在阅读盲文图书的时候,不仅可以读到文字还可以“看到”插图。

目前成功开发的第二代设备原型采用由研发团队自主设计并研发的、全新的自锁机械结构来驱动触觉图像的渲染,具有低成本、可扩展、大幅面等优点。同时,该设备采用了基于图像语义的分时渲染算法和创新的触觉引导机构,可以帮助盲人用户更准确地认知和理解图像。针对盲人用户的特殊需求,研发团队设计了多通道融合的交互体验。不仅提供了触觉交互功能,还设计了基于位置的三维声音导航和语音交互功能。在用户体验设计方面,遵循目前盲人使用电子设备的大部分习惯、最大限度地发挥触觉点阵显示的交互优势,使得盲人用户“所触即所得”。此外,该产品原型封装触听觉控制的基础模块,并具有高度的应用可扩展性,可以支持大部分网页和应用的基本操作。


项目进展

1. 盲人学校数学示范课设计和实验

为了验证设备触觉交互的可用性与易用性,我们与盲人学校合作,选取了“勾股定理”和“三角函数”的两个章节进行了示范课的设计开发,并邀请了13位全盲学生,进行学习和体验。示范课的实验包括实验引导语、实验前测、课程讲授、实验后测、主观评价共5个步骤。13位全盲学生参与了全部实验,因此得到13位盲人的10个知识点测试的前后数据,以及实验后的20个主观评价数据。

实验结果显示,客观知识点方面,所有13位盲人学生在课程学习后掌握的知识点都增加了。通过知识点前测和后测,实验后知识点的掌握情况显著好于实验前。这表明该示范课程能显著的帮助盲人学生的知识学习。盲人用户针对学习方式“可用性”和“易用性”主观评价方面,绝大部分的主观评分都是正向的,可见盲人用户同意或非常同意该学习方式能够帮助勾股定理和三角函数的学习和理解,且学习方法易于使用,感到舒适。

WechatIMG9.jpg


2. 盲文教科书的数字化显示设计

目前盲人学校的教科书均为厚重的触觉打印纸制作而成,成本较高,且不方便携带。而且我国尚有大量盲人无法进入盲人学校进行学习。因此,数字化在线学习和远程学习成为了目前盲人急需的学习方式。同时,该设备的大幅面触觉屏幕在显示盲文和触觉图形图像方面有显著的优势。课题组正在将普通盲文教科书进行数字化,并适当增加易于盲人理解的插图,将教科书以图文并茂的方式显示在本设备上。

Artboard 1@4x.png

Artboard 2@4x.png

Artboard 3@4x.png


实拍使用视频