自然用户界面下的力触觉人机交互浅谈
要让计算机完成特定的任务，你该怎么办？
是疯狂敲击键盘，每分钟盲打200个字符？
还是戴上虚拟现实眼镜，直接用手操作虚拟物体？
再或者，来一场裸眼的3D游戏。
以上三个例子都属于人机交互的范畴，虽然它们都能实现人与计算机之间的互动和交流，但后两种显然比常见的键盘输入更具科技感，且能让用户更加方便和具有沉浸感地与计算机交互。引起上述三种场景在交互方式和接口装置等方面发生转变的主要原因是交互所使用的用户界面，即人机之间建立联系的软件和硬件系统。如果人机交互是人与计算机之间进行信息交换的接口和通路，那么用户界面则是传递和交换信息的桥梁。
一、人机用户界面
人机交互是伴随着计算机的诞生而发展起来的一门多领域交叉的学科，其与计算机的发展是相辅相成的。在计算机发展的不同阶段，人与计算机交互的用户界面也在同步地革新和进步。例如，在计算机发展的初期，人们通过批处理的方式使用打孔机对纸卡进行打孔编码，这种“无交互”的用户界面也被称为批处理界面。由于该阶段计算机的计算能力低下，批处理界面的出错率非常高，用户的使用体验极差。
打孔机和打孔编码后的纸卡
之后，机器语言被用于人机之间的通信，并进一步催生出命令行界面。这种用户界面需要人们学习专业的知识，熟悉编码输入命令的语法，并通过键盘等工具进行输入。尽管熟练掌握命令语言后，人们能够相对灵活地操纵计算机，但编程语言的学习成本较高，容易在使用中产生错误，且键盘的输入和交互效率很低。
从20世纪60年代开始，超大规模集成电路的发展，以及高分辨率显示器和鼠标的出现，将人机界面带入到图形用户界面时代。图形用户界面最为经典的界面范式是当前仍然广泛使用的WIMP范式，其中WIMP是窗口（windows）、图标（icons）、菜单（menus）和点击设备（a pointing device）这4个基本部件的简称。在WIMP范式下，用户可以使用操作简单和易于学习的鼠标，通过隐喻（如光标）与屏幕上的内容或对象进行交互，实现对交互对象的直接操纵和可视化操作。
从以上介绍的三种用户界面的发展历史可以看出，人机交互的技术革新和交互接口的不断演变不但提升了用户界面的可用性和易学性，使人机交互变得更加便捷和高效，同时还促进了计算机从实验室走向普通家庭，并造就了辉煌的个人计算机时代。然而，已有的这些用户界面存在的明显缺点是用户需要去学习和适应各种各样的交互接口，并在一个特定的交互框架下按照用户界面的要求和规范来与计算机交互。理想的人机交互应该是机器适应人的交互需求和意图，且几乎不需要学习成本，即“我本来有什么，我的本能是怎样的，我的习惯是怎样的，我就怎样与机器打交道”，而不是相反。已有的用户界面显然无法满足这一要求。
近年来，随着语言/声音理解、面部/表情识别、手势/体态检测、眼动/运动跟踪、触摸/力觉反馈、脑电/肌电神经信号提取等智能感知技术的不断进步，以及移动/普适计算、人工智能、5G通信等计算机和通信技术的快速发展，虚拟/增强现实、远程医疗/教育、航空航天、工业设计和康复医学等交互应用对人机交互技术提出了更高的要求。在多种因素的共同驱动下，更加自然直观，且具有拟人化、智能化、自然化、实体化等特点的自然用户界面被认为是下一代人机界面的主流。
在自然用户界面下，键盘和鼠标等传统接口工具将会逐渐消失，取而代之的是更为自然和人性化的科技手段，如触摸控制、动作控制、自然语言控制等，用户只须以最自然的交流方式来与计算机交互，就如同在和一个真实的人交流一样。还记得斯皮尔伯格老爷子拍摄的《头号玩家》吗？两个处于不同位置的人可以在同一个虚拟空间中进行相互的触觉感知，这样的交互方式想想都让人心动不已。
虽然这种交互还只是科幻电影中的一种美好想象，在现实生活中并不存在，但实现该交互场景所涉及了触觉传感、触觉反馈、触觉通信和运动跟踪等技术已经取得了巨大进步，相信在不久的将来，《头号玩家》中描绘的虚拟交互场景和触觉感知技术会成为人们日常生活的一部分。
二、力触觉人机交互技术
2005年，著名的人机交互国际会议ACM SIGCHI提出：下一代用户界面的研究应该从范式模型和软件框架三个层次展开，其中力触觉（Haptic）用户界面是代表自然和谐人机交互技术和用户界面的三大发展方向之一。
在日常生活中，人们主要通过视觉、听觉、触觉、嗅觉和味觉这五种感官来获取现实世界中的各种信息。其中，83%的信息是人们通过视觉通道获取的，而仅有1.5%的信息来自于触觉通道。然而，与其他四种感官相比，触觉是一种具有双向信息和能量传递能力，且不限定于某一特定感觉器官的独特感官通道。尤其对于盲人或处于无法获取视觉和听觉信息的环境中，触觉几乎是人认识现实世界和建立空间概念的唯一信息通道。由于能够帮助人感知和操纵交互对象，触觉在人类认识和改造自然的过程中一直发挥着极其重要的作用。而在人机交互领域，触觉更是具有其他感官无法替代的重要作用。
力触觉交互被广泛的定义为人与真实、远程或虚拟环境之间发生的真实或虚拟的触摸交互。如上图所示，一个完整的力触觉人机交互系统一般包括操作者、力触觉设备和力触觉渲染算法三个部分，并组成了人的感知和运动环，以及机器感知和运动环。力触觉交互从人的力触觉感知特性出发，借助力触觉设备将人的操作信息传送到虚拟或遥操作环境中，并在交互中将力触觉渲染算法计算出来的力和/或触觉信息通过力触觉刺激的形式反馈给人，从而让人在操作力触觉设备的过程中，通过神经系统获得与虚拟或远地物体交互的力感和/或触感。
力触觉交互技术的研究内容主要可以分为三个部分，即人的力触觉感知特性、力触觉设备和力触觉渲染算法。其中，人的力触觉感知特性主要包括对人的触觉生理学、心理物理学和神经科学等方面的研究。力触觉设备是实现人与虚拟或遥操作环境交互的必要媒介，其按照反馈的类型可以被分为触觉再现设备和力觉再现设备。触觉再现设备一般采用振动、敲击、电流、冷热等可引起皮肤中触觉感受器做出响应的刺激来再现交互中产生的触觉、压觉、滑觉、冷热觉、痛觉等与触摸有关的感觉，而力觉再现设备则能够提供阻碍操作者运动的反馈力。已经商用化的力触觉设备主要以力反馈为主，它们按结构还可以分为串联结构和并联结构。
串联结构力觉再现设备
并联结构力觉再现设备
力触觉渲染算法用于响应用户与虚拟对象（遥操作环境也可看作是虚拟环境）的交互，并计算和生成交互力和/或触觉信息。力触觉渲染算法主要包括碰撞检测和碰撞响应两个部分。碰撞检测用于判断力触觉设备在虚拟环境中的代理avatar是否与虚拟物体发生了碰撞，以及碰撞发生的位置。碰撞响应则用于计算交互中产生的力触觉信息。为了保证力触觉交互的稳定性，并使虚拟物体的“触摸感觉”显得自然，碰撞响应的更新频率一般应保持在1 kHz或以上。
力触觉交互技术能够实现人对虚拟或远地物体的感知和操纵，并增强交互操作的真实感和临场感，因而在沉浸式系统、虚拟和增强现实等人机交互领域，以及遥操作机器人、虚拟训练、航空航天、康复医疗和远程医疗等领域都能发挥重要的作用。
三、力触觉人机交互的发展趋势
传统的力触觉交互通过力触觉设备中集成的力和位置传感器检测用户的操作信息，然后将检测信息发送给虚拟模型来计算力触觉交互信息，最后通过力触觉设备向用户传递力触觉反馈感受。这一过程是基于图形用户界面的交互范式来实现的，这种交互范式无需计算机关注用户的交互意图，只需要正确的生成反馈感受即可。然而，近年来计算机科学、人工智能、5G通信和仿生材料等技术的快速发展，为力触觉人机交互的技术革新带来了重大机遇，具体的发展趋势体现在以下三个方面：
（1）力触觉交互信息的智能感知。人或机器与虚拟或远地物体的交互需要使用触觉传感器来采集交互过程中的各种信息。一方面，由于人的手指或机械手抓与物体的接触区域较小，集成在指尖等部位的触觉传感器将会向着小型化、柔性化和可穿戴的方向发展。另一方面，对传感器采集到的各种原始信号，需要利用人工智能的方法对其进行分析和处理，以便计算机能看懂信号的内涵和逻辑，正确地判断用户的交互意图，并通过智能化的决策为交互提供合理的力触觉反馈响应。
（2）多通道输入信息的融合和多模态的信息表达。自然用户界面是利用视觉、听觉、触觉、语言、表情、眼动、手势、体态、肌电和脑电等多种通道的输入信息与计算机系统进行交互的用户界面。力触觉作为其中一种重要的信息传输通道，应该与其他通道的数据进行融合，以便通过多模态的信息表达提升交互的真实感和沉浸感。
（3）力触觉设备的优化。自然人机交互的实现必然要求力触觉设备具有小型化、可穿戴、自然性和柔性化的特点。因此，利用仿生材料、微流控技术、有源和无源相结合的执行器来设计力触觉装置，以及采用基于空气压力、电磁力、涡流效应和超声波等多种类型的非接触式力触觉再现方法，来为交互提供自然高效的力触觉刺激，将会是自然用户界面的发展要求。
作者：陈大鹏
编辑：刘卿卿