你是否意识到，当代生活正因高度发达的互联网而产生巨变？在信息层面上，我们生活的空间，早已不再是单纯的三维世界，它正逐步被小型化的数码设备分剥殆尽，数字空间与物理空间的接口——界面（Interface）变得无处不在。这些接口，如同铺满世界的虫洞，通过数字空间，勾连着相隔遥远的物理空间。过去，我们习惯于物理空间内完成的行为（如聊天、吃饭、购物），现在却大量地通过“物理空间—界面—数字空间—界面—物理空间”的路线来完成。这类界面，使我们穿梭于物理空间与数字空间，是人机交互（HCI, Human Computer Interaction）研究的核心内容。
在人机交互领域，我们较为熟悉的是虚拟现实（Virtual Reality,VR）技术，它通过完全沉浸式的视觉体验，增强用户对于数字信息三维视觉属性（如形状和光泽）的直观感受，从而将视觉通道的用户界面形态推向极致。然而，在整体的用户体验上，该技术的“木桶效应”却十分严重：数字信息的视觉属性可以完美呈现，但其余属性（如触感、重量等）却毫无表达。作为一种前沿的图形界面形式，VR技术在用户作为观察者时能够提供较好的体验，可是当用户与数字信息进行交互，沉浸感就立刻被割裂开来。
那么如何跨越图形界面的形式为数字信息交互提供更好的体验呢？理想的情况下，我们希望用户能够和身边真实存在的物体进行互动，并同时完成数字信息的交互。在人机交互研究中，针对于这类可交互的、具有实体的输入输出设备，存在其专属的研究领域：实物用户界面（Tangible User Interface, TUI）。
定义与起源
Definition and Origin
“图形用户界面”（Graphic User Interface，GUI）的概念，较容易理解，我们主流的操作系统，基本上都是图形界面的。但是，由Interface一词翻译而来的“界面”，其本意更加接近“接口”——在该框架下，用户通过图形的交互，处理计算机背后的数字信息。以此为根据，我们也就可以简单地定义TUI：用户通过实物的交互以处理计算机背后的数字信息的框架。TUI最早的概念雏形，可以追溯到古罗马的算板和中国的算盘，它们与今天的TUI看起来非常不同，但其基本原理——使用实物对象（算珠）表示信息——已非常接近TUI。
Figure 1. Tangible Bits 中描述的实物用户界面（TUI）与 图形用户界面（GUI） [1]
一般认为，TUI的概念，源于1995年Fitzmaurice等人提出的可抓取界面（Graspable Interface）——通过一个可抓取的手柄去操控数字物体 [2]。1997年，麻省理工学院媒体实验室的石井裕教授（H.Ishii）在Tangible bits文中首次采用“Tangible”描述该界面形式。在图形用户界面的框架下，数字空间与物理空间是泾渭分明的：所有操作必须经由图形显示器才能完成。而“可触”概念的提出，则致力于打破这一藩篱，基于这一概念诞生的TUI，能够提供基于实物操作的输入与输出方式。
革新与前进中的TUI研究
Innovation and Evolving TUI Research
使用实物输入与使用图形输入相比，各有优劣。实物交互的特点可以简单描述为自然、易用，图形交互则更为精确。Ullmer曾列举出TUI的三种经典形态 [3]。
“交互表面”（Interactive Surface）。交互表面一般指可交互的桌面、地面、墙面等。实物对象可以放置在交互表面上，也可被直接操作。实物对象的空间位置以及它们的相互关系可以用来表征系统状态。
“构件组装”（Assembly）类似于拼插积木，通过将一组构件模块进行连接组合，形成具有语义的结构。构件的空间位置以及组合构件的顺序，均可以用来表征系统状态。
“嵌入约束”（Token+Constraints）。“约束”指一种特定的结构 (沟槽、格子等)，嵌入其中的实物对象，只能以约束结构规定的方式放置或运动。这一方式可以为用户提供物理形态的交互引导。
例如未来实验室实物交互课题组的音乐积木，就是一种结合了交互表面与构件组装的形式。其针对传统桌面式TUI在3D空间交互的局限性，在电容屏与分布式传感结合的基础上，实现了实物在桌面空间的三维追踪及多模态交互，例如桌面的二维平面交互（移动、旋转）、2.5D搭建，离开桌面的三维交互（抬起、降低、翻转等）。基于该TUI系统平台，可以在应用层进行针对具体领域的设计开发。研究人员以音乐创作为例，探索了多模态TUI的交互设计空间，让用户可以通过各种方式组合、操纵实体积木，生成不同的音乐旋律，实现更多元的音乐创作体验。
随着TUI理论与方法的不断发展，上述几种形态分类，已经无法满足需求。考虑ATUI，Radical atoms等新理论模型，我们可以将新的TUI界面分成如下三类[4]：
“几何塑性”（Geometry and Relief）。通过在平面上引入一组高度可变的顶杆阵列，可以模拟出类似于地形图的高程曲面，实现2.5D的塑性。
“运动反馈” （Kinetic Feedback）。是指将实物对象加入自主运动功能（机器人技术），使得实物对象除了可以被用户操作之外，也可以被数字系统控制自主运动（位置、角度、高度、体积变化等），进而实现信息的物理形态反馈。
“功能形变”（Shape-changing）。是指采用功能材料（记忆合金、生物材料、液态金属等）设计的实物用户界面，通过信号驱动或环境驱动的方式，使实物用户界面的形状发生改变，从而达到更多样化的信息提示和反馈的功能。
课题组早期设计的LIME是一种融合了可编程液态金属特性的新型柔性界面，能够同时支持视觉增强与动态触觉反馈两大类交互，具有丰富的交互设计空间。视觉增强可以通过液体金属变形时的程度、频次等来呈现，动态触觉反馈可以通过电场控制下，液体金属的重心或表面张力变化等方式，实现触摸、按压等操作。
而课题组在乐高基金会支持下研发设计的LinkBricks，是一套面向4-6岁学龄前儿童设计的智能搭建系统，其中包含了一系列内嵌有传感器或驱动器的实体积木，和一个以层进式逻辑结构为基础的图形编程界面，则更偏向于构件组装。实体积木部分的系统中，主要涵盖三种模块。其中，传感积木模块内嵌有各种各样的传感器，例如可用于声音的麦克风传感器或是检测距离的红外传感器等；驱动积木模块可以产生物理输出，可嵌入的驱动器包括直流电机、伺服电机、LED灯泡、扩音器、震动马达等等；异型积木模块是指可以增加搭建形象特点的模块，例如翅膀模块内嵌有两台伺服电机，不仅在外观上呈现了翅膀的样子，亦可通过电机的转动实现翅膀的运动。
借助该系统，儿童可以自由搭建各种交互装置、机器人，并用配套的图形编程软件逐步创建出复杂的控制逻辑。
Figure 5. 儿童用LinkBricks 积木搭建可交互机器人，然后通过图形界面为其编程。
TUI正被广泛地应用于教育、办公、家居、娱乐等日常使用场景。可以预见，TUI的概念将极大地改变未来人机交互的面貌，数字空间与物理空间的接口，也将不再仅仅是屏幕，而是这个世界本身。
过去二十多年，TUI的研究取得了长足的发展，但也存在着问题。例如，相当一部分TUI设计缺乏灵活性，只能针对特定的应用；长时间使用TUI更易造成使用者的疲劳等。此类问题导致TUI的产业转化程度不足。
放眼未来，在我国诸多关键领域——无论是国防、防灾减灾，还是未来教育、科普展示等领域——TUI都蕴藏着巨大的应用潜力。进一步开展TUI研究，要综合利用计算机科学、机电与控制科学、材料科学、设计学等多学科的理论和方法，进行交叉协作和探索研究，而这，正是未来实验室一以贯之的科研愿景。
Lu Q, Mao C, Wang L, et al. Lime: Liquid metal interfaces for non-rigid interaction[C]//Proceedings of the 29th Annual Symposium on User Interface Software and Technology. ACM, 2016: 449-452.
Jiasi Gao, Meng Wang, Yaxin Zhu, Haipeng Mi. LinkBricks: A Construction Kit for Intuitively Creating and Programming Interactive Robots. The 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN’20).
Ishii, Hiroshi, and Brygg Ullmer. "Tangible bits: towards seamless interfaces between people, bits and atoms." Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. ACM, 1997.
Fitzmaurice, George W. "Laying the foundations for graspable user interfaces." proceedings of the CHI'95. 1995.
B. Ullmer, H. Ishii, and R. Jacob, “Token+constraint systems for tangible interaction with digital information,” ACM Transactions on Computer- Human Interaction, vol. 12, no. 1, pp. 81–118, 2005.
米海鹏, 王濛等人. 实物用户界面：起源，发展与研究趋势. 中国科学：信息科学（2018）
