方寸之间 实体交互的前世今生

2021-10-08

你是否意识到,当代生活正因高度发达的互联网而产生巨变?在信息层面上,我们生活的空间,早已不再是单纯的三维世界,它正逐步被小型化的数码设备分剥殆尽,数字空间与物理空间的接口——界面(Interface)变得无处不在。这些接口,如同铺满世界的虫洞,通过数字空间,勾连着相隔遥远的物理空间。过去,我们习惯于物理空间内完成的行为(如聊天、吃饭、购物),现在却大量地通过“物理空间—界面—数字空间—界面—物理空间”的路线来完成。这类界面,使我们穿梭于物理空间与数字空间,是人机交互(HCI, Human Computer Interaction)研究的核心内容。


在人机交互领域,我们较为熟悉的是虚拟现实(Virtual Reality,VR)技术,它通过完全沉浸式的视觉体验,增强用户对于数字信息三维视觉属性(如形状和光泽)的直观感受,从而将视觉通道的用户界面形态推向极致。然而,在整体的用户体验上,该技术的“木桶效应”却十分严重:数字信息的视觉属性可以完美呈现,但其余属性(如触感、重量等)却毫无表达。作为一种前沿的图形界面形式,VR技术在用户作为观察者时能够提供较好的体验,可是当用户与数字信息进行交互,沉浸感就立刻被割裂开来。


那么如何跨越图形界面的形式为数字信息交互提供更好的体验呢?理想的情况下,我们希望用户能够和身边真实存在的物体进行互动,并同时完成数字信息的交互。在人机交互研究中,针对于这类可交互的、具有实体的输入输出设备,存在其专属的研究领域:实物用户界面(Tangible User Interface, TUI)。



01 ——

定义与起源

Definition and Origin

“图形用户界面”(Graphic User Interface,GUI)的概念,较容易理解,我们主流的操作系统,基本上都是图形界面的。但是,由Interface一词翻译而来的“界面”,其本意更加接近“接口”——在该框架下,用户通过图形的交互,处理计算机背后的数字信息。以此为根据,我们也就可以简单地定义TUI:用户通过实物的交互以处理计算机背后的数字信息的框架。TUI最早的概念雏形,可以追溯到古罗马的算板和中国的算盘,它们与今天的TUI看起来非常不同,但其基本原理——使用实物对象(算珠)表示信息——已非常接近TUI。

image001.jpg

Figure 1. Tangible Bits 中描述的实物用户界面(TUI)与 图形用户界面(GUI) [1]

一般认为,TUI的概念,源于1995年Fitzmaurice等人提出的可抓取界面(Graspable Interface)——通过一个可抓取的手柄去操控数字物体 [2]。1997年,麻省理工学院媒体实验室的石井裕教授(H.Ishii)在Tangible bits文中首次采用“Tangible”描述该界面形式。在图形用户界面的框架下,数字空间与物理空间是泾渭分明的:所有操作必须经由图形显示器才能完成。而“可触”概念的提出,则致力于打破这一藩篱,基于这一概念诞生的TUI,能够提供基于实物操作的输入与输出方式。



02 ——

革新与前进中的TUI研究

Innovation and Evolving TUI Research

使用实物输入与使用图形输入相比,各有优劣。实物交互的特点可以简单描述为自然、易用,图形交互则更为精确。Ullmer曾列举出TUI的三种经典形态 [3]

1

“交互表面”(Interactive Surface)。交互表面一般指可交互的桌面、地面、墙面等。实物对象可以放置在交互表面上,也可被直接操作。实物对象的空间位置以及它们的相互关系可以用来表征系统状态。

2.


“构件组装”(Assembly)类似于拼插积木,通过将一组构件模块进行连接组合,形成具有语义的结构。构件的空间位置以及组合构件的顺序,均可以用来表征系统状态。

3.


“嵌入约束”(Token+Constraints)。“约束”指一种特定的结构 (沟槽、格子等),嵌入其中的实物对象,只能以约束结构规定的方式放置或运动。这一方式可以为用户提供物理形态的交互引导。


image002.png

Figure 2. TUI的三种经典形态 [3]

例如未来实验室实物交互课题组的音乐积木,就是一种结合了交互表面与构件组装的形式。其针对传统桌面式TUI在3D空间交互的局限性,在电容屏与分布式传感结合的基础上,实现了实物在桌面空间的三维追踪及多模态交互,例如桌面的二维平面交互(移动、旋转)、2.5D搭建,离开桌面的三维交互(抬起、降低、翻转等)。基于该TUI系统平台,可以在应用层进行针对具体领域的设计开发。研究人员以音乐创作为例,探索了多模态TUI的交互设计空间,让用户可以通过各种方式组合、操纵实体积木,生成不同的音乐旋律,实现更多元的音乐创作体验。


scenario (1)-03 4.jpg333.pngFigure 3. 音乐积木的交互方式及界面

gif2.gif Gif3.gif Gif4.gif


随着TUI理论与方法的不断发展,上述几种形态分类,已经无法满足需求。考虑ATUI,Radical atoms等新理论模型,我们可以将新的TUI界面分成如下三类[4]

1.


“几何塑性”(Geometry and Relief)。通过在平面上引入一组高度可变的顶杆阵列,可以模拟出类似于地形图的高程曲面,实现2.5D的塑性。

2.


“运动反馈” (Kinetic Feedback)。是指将实物对象加入自主运动功能(机器人技术),使得实物对象除了可以被用户操作之外,也可以被数字系统控制自主运动(位置、角度、高度、体积变化等),进而实现信息的物理形态反馈。

3.


“功能形变”(Shape-changing)。是指采用功能材料(记忆合金、生物材料、液态金属等)设计的实物用户界面,通过信号驱动或环境驱动的方式,使实物用户界面的形状发生改变,从而达到更多样化的信息提示和反馈的功能。


课题组早期设计的LIME是一种融合了可编程液态金属特性的新型柔性界面,能够同时支持视觉增强与动态触觉反馈两大类交互,具有丰富的交互设计空间。视觉增强可以通过液体金属变形时的程度、频次等来呈现,动态触觉反馈可以通过电场控制下,液体金属的重心或表面张力变化等方式,实现触摸、按压等操作。

73163342510.jpg

Figure 4. LIME液态金属柔性界面

LIME2.gifLIME3.gif


而课题组在乐高基金会支持下研发设计的LinkBricks,是一套面向4-6岁学龄前儿童设计的智能搭建系统,其中包含了一系列内嵌有传感器或驱动器的实体积木,和一个以层进式逻辑结构为基础的图形编程界面,则更偏向于构件组装。实体积木部分的系统中,主要涵盖三种模块。其中,传感积木模块内嵌有各种各样的传感器,例如可用于声音的麦克风传感器或是检测距离的红外传感器等;驱动积木模块可以产生物理输出,可嵌入的驱动器包括直流电机、伺服电机、LED灯泡、扩音器、震动马达等等;异型积木模块是指可以增加搭建形象特点的模块,例如翅膀模块内嵌有两台伺服电机,不仅在外观上呈现了翅膀的样子,亦可通过电机的转动实现翅膀的运动。


借助该系统,儿童可以自由搭建各种交互装置、机器人,并用配套的图形编程软件逐步创建出复杂的控制逻辑。

LinkBricks1.jpg LinkBricks2.jpg Figure 5. 儿童用LinkBricks 积木搭建可交互机器人,然后通过图形界面为其编程。
Link1.gif


03 ——

未来展望

Future Outlook

TUI正被广泛地应用于教育、办公、家居、娱乐等日常使用场景。可以预见,TUI的概念将极大地改变未来人机交互的面貌,数字空间与物理空间的接口,也将不再仅仅是屏幕,而是这个世界本身。


过去二十多年,TUI的研究取得了长足的发展,但也存在着问题。例如,相当一部分TUI设计缺乏灵活性,只能针对特定的应用;长时间使用TUI更易造成使用者的疲劳等。此类问题导致TUI的产业转化程度不足。


放眼未来,在我国诸多关键领域——无论是国防、防灾减灾,还是未来教育、科普展示等领域——TUI都蕴藏着巨大的应用潜力。进一步开展TUI研究,要综合利用计算机科学、机电与控制科学、材料科学、设计学等多学科的理论和方法,进行交叉协作和探索研究,而这,正是未来实验室一以贯之的科研愿景。

更多实验室研究详情见论文:

1.

Lu Q, Mao C, Wang L, et al. Lime: Liquid metal interfaces for non-rigid interaction[C]//Proceedings of the 29th Annual Symposium on User Interface Software and Technology. ACM, 2016: 449-452.

2.

Jiasi Gao, Meng Wang, Yaxin Zhu, Haipeng Mi. LinkBricks: A Construction Kit for Intuitively Creating and Programming Interactive Robots. The 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN’20).


参考文献:

[1]


Ishii, Hiroshi, and Brygg Ullmer. "Tangible bits: towards seamless interfaces between people, bits and atoms." Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. ACM, 1997.

[2]

Fitzmaurice, George W. "Laying the foundations for graspable user interfaces." proceedings of the CHI'95. 1995.

[3]

B. Ullmer, H. Ishii, and R. Jacob, “Token+constraint systems for tangible interaction with digital information,” ACM Transactions on Computer- Human Interaction, vol. 12, no. 1, pp. 81–118, 2005.

[4]

米海鹏, 王濛等人. 实物用户界面:起源,发展与研究趋势. 中国科学:信息科学(2018)