1.2 　UI的发展历程

用户界面属于“人机界面”研究的范畴，是计算机科学与认知心理学两大学科相结合， 并吸收了语言学、人机工程学和社会学等研究成果的产物，是计算机科学中最年轻的分支之一。用户界面的研究从产生至今不足半个世纪，却经历了巨大的变化。用户界面的发展大致经历了如下几个阶段。

1.2.1　语言命令用户界面

其代表应属DOS操作系统，是人机交互的初级阶段，用户通过界面输入基于字符的命令行与系统交互。这种手段显然是机器易于接受的方式，同时考验和训练界面操作者的记忆力和不厌其烦地重复操作的耐心，对初学者来说不十分友好，且易出错。DOS命令及执行结果的示例如图1-1所示。

1.2.2　图形用户界面

图形用户界面（graphics user interface，GUI）是当今用户界面设计的主流，广泛用于计算机和携带屏幕显示功能的各类电子设备，也包括大量手持式移动设备。GUI是建立在计算机图形学的基础上，基于事件驱动(event-driven)的核心技术。它具有明显的图形表意特征，形象直观；通过鼠标或手指触摸操作，可降低操作的复杂度；允许多任务运行程序，系统响应速度快；人机交互友好等特点。在GUI技术中需要实现两个最基本的要求：一是直观性，采用现实世界的抽象来进行界面的元素设计，所见即所得，免去了用户认知学习的过程；二是响应速度快，它直接影响到该应用是否被用户接受。在很多实际系统中，关于响应速度的问题往往是通过软件界面设计而非硬件方式解决。利用GUI技术，用户可以很方便地通过桌面、窗口、菜单、图标、按钮等元素向计算机系统发送指令，这种无需用户记忆大量繁琐命令的操作方式，更符合用户的心理需求，使人机交互过程更自然。图形用户界面的示例如图1-2所示。

1.2.3　多媒体用户界面

多媒体用户界面强调的是媒体表现（presentation），即在过去只支持静态媒体的用户界面中，引入动画、音频、视频等动态媒体，极大地丰富了计算机表现信息的形式，提高了人对信息表现形式的选择、控制能力，增强了信息表现与人的逻辑、创造能力的结合，扩展了人的信息处理能力。显然，多媒体用户界面比单一媒体用户界面具有更大的吸引力，这在互联网上得到了极大体现，它更有利于人对信息的主动探索。多媒体用户界面虽然在信息输出方面变得更加丰富，但在信息输入方面仍使用常规的输入设备（键盘、鼠标器和触摸屏）， 即输入是单通道的。随着多通道用户界面的兴起，人机交互过程将变得更加和谐与自然。多媒体用户界面的示例如图1-3所示。

1.2.4　多通道用户界面

多通道交互( multi-modal interaction，MMI)是近年来迅速发展的一种人机交互技术，它既适应了“以人为本”的自然交互准则，也推动了互联网时代信息产业（包括移动计算、 移动通信、网络服务等）的快速发展。所谓多通道涵盖了用户表达意图、执行动作或感知反馈信息的各种沟通方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等，采用这种方式的计算机用户界面称为“多通道用户界面”。通过手写入、 语音识别、视线跟踪、手势识别、表情识别、触觉感应、动作感应等技术，以并行、非精确的方式与计算机环境进行交互，大大提高了人机交互的自然性和高效性。可穿戴计算机就体现了多通道技术的最新研究成果。在一些特殊环境中，如战场、突发事件处理现场、社会娱乐、新闻采访等，人们将微小的计算机及相关设备像衣服一样戴在头上、穿在身上，即可实现诸如在任何物体表面显示屏幕并操作按键、在手掌上显示电话拨号键盘、在报纸上显示文字相关的视频、在地图上显示实物场景等。多通道用户界面示例如图1-4所示。

1.2.5　虚拟现实人机界面

虚拟现实人机交互技术向用户提供了身临其境和多感觉通道的感官体验，作为一种新型的人机交互形式，真正实现了图形用户界面的人性化。它能让用户置身于图像整体包围的暗示空间中，创造出一种强烈的临场感，使感觉上升为情感，使体验近乎真实。虚拟现实界面营造的是一种用户置身于图像世界的主观体验，是由计算机系统合成的人工世界，包括桌面虚拟现实( desktop VR)、临境虚拟现实(immersive VR)、将真实与虚拟环境景象结合的混合型虚拟现实、通过互联网实现的分布式虚拟现实( distributed VR)等类型。它能构造出人们可以达到的合理的虚拟现实环境，如场景展示与训练，包括航天员、飞机驾驶员、汽车驾驶员、轮船驾驶员等在虚拟环境训练舱中的训练；还能构造出人们不可能达到的夸张的虚拟现实环境和纯粹虚构的梦幻环境，如互联网上的3D游戏、科幻影片的场景等。如图1-5所示。

2015年3月，在旧金山举行的游戏开发者大会（GDC）上，瑞士的神经技术初创企业MindMaze发布了全球第一款靠意念控制的虚拟现实游戏系统原型MindLeap，同时宣布获得了850万美元的天使投资。

（1）从医疗到游戏

MindMaze成立于2012年，总部位于瑞士洛桑，其研究领域主要是神经科学、虚拟现实和增强现实，此前主要应用于医疗，用来帮助中风、截肢及脊髓损伤患者康复。创始人兼CEO是Tej Tadi博士。创办公司前他曾在瑞士联邦理工学院从事过10年的虚拟现实研究。

我们知道，人的动作是由大脑控制的，比方说移动手臂这个动作的执行过程首先是大脑想要手臂移动，这个决定由神经网络经过数毫秒之后传递给相关肌肉才执行动作。MindMaze则是通过跟踪大脑和肌肉的活动来侦听相关的神经信号。如图1-6所示。

MindMaze的应用一开始并不是游戏，而是医疗。比方说，截肢病人有时候会出现幻觉痛，即感到被切断的肢体仍在，且在该处发生疼痛。Tadi介绍了一个例子，某位左臂被截肢的女患者就出现了幻肢痛。MindMaze利用技术跟踪患者正常的右臂的活动和神经信号，然后在屏幕上呈现出其左臂在作相应动作的图像，如此来“欺骗”她的大脑认为自己左臂也能动，从而缓解幻肢痛。这里的关键是屏幕的动作展示必须是实时的——时延不能超过20ms（触觉传递到大脑需要20ms，视觉则需要70ms，这些似乎是能够区分出相关信号的关键）。正是无时延方面的努力让MindMaze想到可以把它用在游戏上，开发出了MindLeap这套游戏装置的原型。

这套装置由动作捕捉系统、脑电波读取系统以及集成平台组成。其HMD（头戴式显示器）外观上跟Oculus Rift DK2、Razer OSVR有些类似。比较奇特的是它的头箍，像一张网，其实那是用来采集脑电波信号的装置，不过未来MindMaze计划改进成跟目前的HMD的头带类似的东西。无线3D摄像头运动捕捉系统类似于Kinect，可进行3D的全身运动跟踪，但是需要进行一些调整以适应医疗用途。目前这套原型可提供720p的显示以及 60°的视野范围，未来计划升级为1080p及120°的视角。如图1-7所示。

（2）VR与AR结合

HMD和动作捕捉系统的结合跟我们不久前介绍的伊利诺伊大学香槟分校团队的工作类似，可以带来虚拟现实（VR）与增强现实（AR）的双重体验。但是MindLeap还融入了脑电波读取的技术。Tadj称，这是全球首次将神经科学、虚拟现实、增强现实及3D全身动作捕捉融于一体，将带给玩家无时延的游戏体验。

佩戴上MindLeap之后，头向右转即开始AR模式，此时头部的摄像头开始跟踪在面前晃动的手指动作。屏幕上则呈现出用户手部的动作以及周围的环境，不仅如此还会在手指上渲染火焰（增强现实）。而且头箍会跟踪用户的精神状态，如果是放松的，火焰是蓝色的，而如果用户紧张，火焰就会变成红色。

如果用户将头向左转则激活VR模式，此时用户的手还在平面上显示，但是周围的环境则变成了未来主义的空间。用户可以在虚拟世界中触摸、感知、表现、移动，仿佛置身于现实世界。

（3）脑力竞赛

不过最有趣的是MindMaze展示的仅靠意念控制的对抗游戏，如图1-8所示。游戏里面屏幕两头各有一个会伸缩的魔法球，中间则是一个小球。魔法球靠对战双方的意念控制，双方均佩戴植入前额传感器的头带，游戏目标是利用能量爆发将屏幕中央的球膨胀推开对方的球。球膨胀得越大代表脑力越强。不过，不习惯的玩家一开始必须靠缓慢的深呼吸来放松精神。原型演示中仍有一些时延，而且还需要校准。不过看起来整个游戏呈现的效果的确不错。

根据MindMaze科学顾问Olaf Blanke的说法，MindLeap利用医疗级技术创建了一个直观的人机接口，通过识别关键的神经特征实现无与伦比的响应性，将会开启一个神经康复与游戏的全新时代。

在VR最近风生水起的大环境下，MindLeap的未来看起来不错。但是要想实现消费化还有大量的工作要做。仅靠精神的放松和紧张来控制游戏当然还是不够的，不过如果MindMaze掌握了精确的神经信号识别技术，辨别面部表情、情感等高级用法也不是天方夜谭。