人机交互知识点总结

考试题型及分值分布：

1. 选择题（10题、20分）
2. 填空题（10题、20分）
3. 判断题（可选、5题、10分）
4. 解答题（5、6题、30分）
5. 分析计算题（1、2题、20分）
   注意：答案有多条时，用1、2、3形式分别列出。

考查内容

1. 掌握人机交互技术基本概念、研究内容及发展趋势
2. 主要人机交互设备及其主要原理
3. 行为模型、结构模型的主要研究内容及其特点，掌握模型的相互转换
4. 能够根据案例分析某软件结构的行为模型或结构模型
5. 掌握图形用户界面的基本原则
6. 掌握移动互联 设计的基本原则及其特点
7. 掌握几种基本的软件体系结构
8. 熟悉LOTOS的几种关系及其语法
9. 什么是可用性及其可用性的基本原则
10. 案例综合分析

掌握人机交互技术基本概念、研究内容及发展趋势(P1)

人机交互技术基本概念

人机交互是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。
狭义的讲:人机交互技术主要是研究人与计算机和计算机到人的信息交换两部分。

人机交互的研究内容

1. 人机交互界面的表示模型与设计方法

一个交互界面的优劣，直接影响软件开发的成败。友好的人机交互界面的开发离不开好的交互模型和设计方法。

2. 可用性分析与评估

它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。

3. 多通道交互技术

研究视觉、听觉、触觉和力觉等多通道信息的融合理论和方法。
多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。
其中，多通道融合是多通道用户界面研究的重点和难点。

4. 认知与智能用户界面

目标是：是人机交互和人-人交互一样自然、方便。

5. 群件

群件是指为群组提供计算机支持的协作环境，主要涉及个人或群组间的信息传递、群组内的信息共享、业务过程自动化与协调以及人和过程之间的交互活动等。

6. web设计

web设计重点研究web界面的信息交互模型和结构、web界面设计的基本思想和原则、web设计的工具和技术，以及web界面设计的可用性分析与评估方法等内容。

7. 移动界面设计

人机交互技术发展趋势

1. 命令行交互阶段

通过键盘输入数据和命令信息，界面输出以字符为主，因此这种人机交互方法缺乏自然性。

2. 图形用户界面交互阶段（GUI）

与命令行界面相比，图形用户界面的自然性和交互效率都有较大的提高。
图形用户界面很大程度上依赖菜单选择和交互构件。

缺点：

1. 鼠标驱动的界面便于初学者使用，但重复性的菜单选择会给有经验的用户造成不方便。
2. 图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互。

3. 自然和谐的人机交互阶段

1. 多通道交互
2. 情感计算
3. 虚拟现实
4. 智能用户界面
5. 自然语言理解

主要人机交互设备及其主要原理(P42)

输入设备

文本输入设备

键盘

组成

一般由按键、导电塑胶、编码器、接口电路组成。

原理

键盘得每一个按键对应一个编码，当用户按下一个按键时，导电塑胶将线路板上的这个按键的排线接通，键盘中的编码器能够迅速将此键盘所对应的编码通过接口电路输送到计算机的键盘缓冲器中，由计算机识别处理。

手写输入设备

手写板是一种常见的支持手写输入设备的交互设备。

分类

1. 电阻式压力手写板
2. 电磁式感应手写板
3. 电容式触控手写板

电阻式压力手写板

组成：一层可变形的电阻薄膜、一层固定的电阻薄膜、中间由空气相隔离。

原理：当用笔或手接触手写板时，上层电阻受压变形并与下层电阻相接触，下层电阻就能判断笔或手指的位置。

缺点：

1. 由于通过感应材料的变形判断位置，感应材料易疲劳，使用寿命较短；
2. 感应不是很灵敏，使用时压力不够没有感应，压力过大又易损伤感应板。

电磁式手写板

原理：手写板的下方电路通电后，在一定空间范围内形成电磁场，来感应带有线圈的笔尖的位置进行工作。

缺点：

1. 对电压要求较高，电压达不到要求就会出现工作不稳定或不能工作的情况；
2. 抗电磁干扰较差，易于其他电磁设备发生干扰；
3. 手写笔笔尖是活动部件，使用寿命短；
4. 必须有手写笔才能工作，不能用手指直接操作

电容式手写板

原理：通过人体的电容来感知手指的位置，即当使用者的手指接触到触控板的瞬间，就在板的表面产生一个电容。在触控板的表面附着着一种传感矩阵，这种矩阵与特殊芯片一起，持续不断地跟踪使用者手指电容的“轨迹”得到位置。

图像输入设备

二维扫描仪

组成：

光学系统、步进电机

光学系统

将光线照射到稿件上，产生的发射光或透射光经过反光镜组反射到图像传感器（CCD）中，CCD将光电信 转为数字图像信 。

步进电机

控制光学系统在传动导轨上平行移动，对待扫稿件逐行进行扫描，最终完成全部稿件的扫描。

指标性能

1. 扫描速度
2. 分辨率

扫描速度决定了扫描仪的工作效率，分辨率决定了最高扫描精度。

分辨率受光学部分、硬件部分和软件部分三个因素影响。

数字摄像头

直接捕捉影像，然后通过计算机的串口、并口或USB接口传送到计算机。

组成

感光部件、简单的镜头、数据传输线路

衡量因素

1. 感光元件的类型
2. 像素数
3. 解析度
4. 视频速度
5. 镜头的好坏

三维信息输入设备

三维扫描仪

分类

根据传感方式的不同：接触式和非接触式

接触式

原理：探测头直接接触物体表面，把探测头反馈回来的光电信 转换为描述物体表面形状的数字信息。

优点：有较高的准确性和可靠性

缺点：测量速度慢、费用较高、探头易磨损

非接触式

主要有三维激光扫描仪和结构光式三维扫描仪。

优点：扫描速度快、易于操作、对物体表面损伤少。

三维激光扫描仪通过高速激光扫描测量技术，获取被测对象表面的空间坐标数据。

常用TOF（飞行时间）测量法或三角测量法进行深度数据的获取。

（1）TOF测量法

通过激光二极管向物体发射近红外波长的激光束，通过测量激光在仪器和目标物体表面的往返时间，计算仪器和点之间的距离，从而计算出目标点的深度。

（2）三角测量法

三角测量法是一种线扫描技术，通过线激光器向被测物体投射一条激光射线，激光线受到物体表面形状的调制，形成反应物体表面轮廓的曲线，利用扫描仪内部内置的摄像头拍摄曲线图像，根据激光器和摄像头之间的三角关系，根据双目视觉方法，反求出激光亮线处物体的深度信息。

结构光三维扫描仪

是一种面扫描技术，通过投影仪向被测物体投射光栅模板图像，光栅在物体表面发生调制变形，其周期与相位的变化反映了物体表面的三维信息。通过相机拍摄物体表面的光栅图像，检测出相应相位变化值，再利用双目视觉方法计算出三维数据。

三维扫描仪的性能指标主要包括扫描的速度、精度和范围等。

动作捕捉设备

原理

动作捕捉设备在运动物体的关键部位设置跟踪点，由系统捕捉跟踪点在三维空间中运动的轨迹，再经过计算机处理后，得到物体的运动数据。

分类

1. 机械式
2. 光学式
3. 电磁式

光学式运动捕捉的原理

利用计算机视觉原理，通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。对于空间中的一个点，只要它同时为两部摄像机所见，则根据同一时刻两部摄像机所拍摄的图像和对应参数，可以计算出该点该时刻的空间位置。

体感输入设备

原理和应用和光学式捕捉设备类似。

指点输入设备

指点设备常用于完成一些定位和选择物体的交互任务。

鼠标及控制杆

鼠标根据工作原理 不同可以分为 机械鼠标和光电鼠标。

控制杆的移动导致屏幕上光标的移动，根据两者的移动关系可以将其分为移动定位和压力定位。

移动定位的控制杆：屏幕上的光标依据控制杆的位移而移动，因而位移是非常重要的定位特征。
压力定位的控制杆：其受到的压力被转化为屏幕上光标的移动速度。

触摸屏

组成

触摸检测部件、触摸屏控制器。

触摸屏检测部件：安装在显示器屏幕前面，用于检测用户触摸位置，然后传送给触摸屏控制器。

触摸屏控制器：处理从触摸检测部件接收到的触摸信息，并将它转换成触点坐标，再传送给CPU，同时接受CPU发出来的命令并加以执行。

分类

电阻式触摸屏、电容式触摸屏、基于光学的触摸屏

电阻式触摸屏

优点：原理简单、工艺要求低、价格低廉

电阻式触摸屏是一种传感器，通过转换触摸点的物理位置坐标（X,Y）得到代表X坐标和Y坐标的电压。

电容式触摸屏

由四层复合玻璃组成，利用人体的电流感应进行工作。

缺点：

1. 当较大面积的手掌或手持的导体物靠近电容屏而未触摸时就能引起电容屏的误动作，在潮湿的天气，这种情况尤为严重。
2. 用带手套的手或手持不导电的物体触摸时没有反应，这是因为引入了更为绝缘的介质。

基于光学的触摸屏

优点：高扩展性、低成本、易搭建

输出设备

光栅显示器

显示器是计算机的重要输出设备，是人机对话的重要工具。它的主要功能是接收主机发出的信息，经过一系列的变换，最后以点阵的形式将文字和图形显示出来。

光栅显示器工作原理

常见的光栅显示器包括阴极线管显示器（CRT）、等离子显示器和液晶（LCD）显示器

CRT显示器的组成

1. 阴极
2. 电平控制器
3. 聚焦系统
4. 加速系统
5. 偏转系统
6. 阳极荧光粉涂层

这六部分都在真空管内。

阴极、 电平控制器、 聚焦系统、 加速系统统称为电子枪。

CRT显示器工作原理

1. 当显像管内部的电子枪阴极发出的电子束，经强度控制、聚焦和加速后变成细小的电子流，再经过偏转线圈的作用向正确目标偏离，穿越荫罩的小孔或栅栏，轰击到荧光屏上的荧光粉发出光线。
2. 彩色CRT光栅扫描显示器有三个电子枪，它的荧光屏上涂有三种荧光物质，分别能发红、绿、蓝三种颜色的光。

等离子显示器

等离子显示器诞生于二十世纪60年代，它采用等离子管作为发光材料，1个等离子管负责一个像素的显示：等离子管内的氖氙混合气体在高压电极的刺激下产生紫外线，紫外线照射涂有三色荧光粉的玻璃板，荧光粉受激发出可见光 。

优点：重量较轻、完全无X射线辐射，而且屏幕亮度非常均匀，不存在明显的亮区和暗区；由于各个发光单元的结构完全相同，因此不会出现CRT显示器那样存在某些区域聚焦不良或因使用时间过长出现散焦的毛病。

缺点：是价格较高，由于显示屏上的玻璃较薄使屏幕较脆弱。

液晶显示器

在充电条件下，液晶能改变分子排列，继而造成光线的扭曲或折射。

液晶显示器工作原理是通过能阻塞或传递光的液晶材料，传递来自周围的或内部光源的偏振光。以电流刺激液晶分子产生点、线、面配合背部灯管构成画面。

LCD比CRT显示器具有更好的图像清晰度，画面稳定性和更低的功率消耗，但液晶材质粘滞性比较大，图像更新需要较长响应时间，因此不适合显示动态图象。

光栅显示器的技术指标

1. 扫描方式：分为逐行扫描和隔行扫描（已淘汰）；
2. 刷新频率：屏幕刷新速度，75Hz是最低要求；
3. 点距：同一像素中两颜色相近的磷光的距离。越小，图像越细腻
4. 分辨率：屏幕上水平方向和垂直方向上所显示的点数，分辨率越高图像越清晰，且能增加屏幕上的信息容量。
5. 亮度：显示白色图形白块的亮度，并不是越亮越好；
6. 对比度：显示的画面或字符与屏幕背景底色的亮度对比。对比度越大，显示的字符或画面越清晰。
7. 尺寸：屏幕尺寸实际上指显现管的尺寸。

显卡

显示器必须依靠显卡提供的显示信 才能显示出各种字符和图像，显卡是连接显示器和个人计算机主板的重要设备。

作用：

根据CPU提供的指令和有关数据进行相应的处理，并把处理结果转换为显示器能够接受的文字和图像显示信 ，通过屏幕显示出来。

显卡组成：

显卡BIOS芯片、图像处理芯片（GPU）(核心)、显存、数模转换器芯片（RAMDAC）芯片、接口。

投影仪

将数字图像或视频投射到幕布上的设备。
从数字信 到光信 的转换设备。

根据投影仪的工作方式不同，主要分为CRT型、LCD型及DLP型三种不同类型的投影仪，而其中LCD投影仪与DLP投影仪又是目前商用投影仪中的主流。

打印机

打印机是目前非常通用的一种输出设备，其结构可分为机械装置和控制电路两部分。

常见的有针式、喷墨、激光打印机三类。

打印分辨率、速度、幅面、最大打印能力等是衡量打印机性能的重要指标。

3D打印机

3D打印机又称三维打印机，它以数字模型文件为输入，运用特殊蜡材、粉末状金属或塑料等可粘合材料，通过打印一层层的粘合材料来制造三维的物体。

3D打印机与传统打印机最大的区别在于它使用的“墨水”是实实在在的原材料，可用于打印的介质种类多样，从繁多的塑料到金属、陶瓷以及橡胶类物质。有些打印机还能结合不同介质，令打印出来的物体一头坚硬而另一头柔软。

分类

分为喷墨式，熔积成型，激光烧结三种类型的3D打印机

语音交互设备

语音作为一种重要的交互手段，日益受到人们的重视。

基本的语音交互设备

1. 耳机
2. 麦克风
3. 声卡

虚拟现实交互设备

三维空间定位设备

空间跟踪定位器

又称三维空间传感器，是一种能实时地检测物体空间运动的装置，可以得到物体在六个自由度上相对于某个固定物体的位移，包括X、Y、Z坐标上的位置以及围绕X、Y、Z轴的旋转值（转动、俯仰、摇摆）。称为“非接触式传感器”。

性能指标

1. 定位精度：传感器所能测出来的最小位置变化。
2. 位置修改速率：传感器在一秒内所能完成的测量次数。
3. 延时：被检测物体的某个动作与传感器测出该动作的时间间隔。

数据手套

数据手套的作用：

1. 捕捉手指和手腕的瞎蒙对运动，提供各种手势信 ；
2. 配合一个六自由度的跟踪器，跟踪手的实际位置和方向。

组成

1. 位置、方向传感器
2. 沿每个手指背部安装的一组有保护套的光纤导线。

触觉和力反馈器

手指触觉反馈器的实现主要通过视觉、气压感、振动触觉、电子触觉和神经模拟。

三维显示设备

立体视觉

立体视觉原理

通过立体摄像机获取具有细微差别的左右两组图像，然后通过相应的3D显示技术分别播放给人的左、右眼以模拟人在现实中观察物体的情形，从而在人脑中呈现虚拟的立体场景。

立体视觉显示技术

主动式立体模式和被动式立体模式。

主动式立体模式常用于立体电视及立体投影仪设备，对应用户的左右眼影像将按照顺序交替显示，用户使用LCD立体眼镜保持与立体影像的同步，这种模式可以产生高质量的立体效果。

被动式立体模式常用于影院环境，需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影，不同的投影分别使用不同角度的偏振光来区别左右眼影像，用户使用偏振光眼镜保持立体影像的同步。

头盔式显示器

头盔式显示器（Head Mounted Display，HMD，）是一种立体图形显示设备，可单独与主机相连以接受来自主机的三维虚拟现实场景信息。

分类：单通道和双通道。

投影拼接融合的沉浸式显示环境

投影拼接融合是指将多台投影仪所投射出的画面进行边缘融入，显示出无缝、大幅面、高亮度、高分辨率的整幅画面，为观众提供全沉浸式的观看体验及多用户参与的交互体验。

投影拼接融合技术组成部分

1. 几何校正:对投影图像变形失真和重叠区域画面纹理不齐进行的误差校正方法。
2. 亮度/色彩校正：对于投影的画面拼接中有投影光线和画面重叠部分的融合处理。

投影拼接融合分类

根据拼接融合方式，分为：手动拼接融合和自动拼接融合。

手动拼接融合的步骤：

1. 几何校正：为每个投影仪的实际投影区域添加控制 格，通过调整控制 格实现投影区域的拼接。细化并调整控制 格，以使得投影画面的重叠区域实现精准对齐。
2. 亮度融合：手动拖动调整每台投影仪实际投影区域的重合区域亮度衰减曲线，以消除重合区域的过暗与过亮现象。
3. 颜色融合：分别调整每台投影仪白色、红色、绿色、蓝色值阈值，使得两台投影仪颜色基本相同。

手动拼接实现简单，拼接效果可控；但是手动拼接系统需要专业人员操作，拼接耗时，且拼接效果取决于操作人员的主观判断。

裸眼立体显示设备

裸眼立体显示器实现技术分类

1. 视差壁（Parallax Barrier）技术
2. 柱状透镜（Lenticular Lens）技术

行为模型、结构模型的主要研究内容及其特点，掌握模型的相互转换(P121)

行为模型

GOMS

通过目标 (Goal)、操作 (Operator)、方法 (Method) 以及选择规则 (Selection) 四个元素来描述用户的行为。

GOMS是在交互系统中用来分析建立用户行为的模型。它采用“分而治之”的思想，将一个任务进行多层次的细化

1. 目标 Goals
   目标就是用户执行任务最终想要得到的结果,它可以在不同的层次中进行定义。
2. 操作 Operators
   操作是任务分析到最低层时的行为，是用户为了完成任务所必须执行的基本动作。
3. 方法 Methods
   方法是描述如何完成目标的过程。一个方法本质上来说是内部的算法，用来确定子目标序列及完成目标所需要的操作。
4. 选择 Selection
   选择是用户要遵守的判定规则，以确定在特定环境下所要使用的方法。
   当有多个方法可供选择时，GOMS中并不认为这是一个随机的选择，而是尽量来预测会使用哪个方法,这需要根据特定用户、系统的状态、目标的细节来预测要选择哪种方法。

GOMS的应用

作为一种人机交互界面表示的理论模型，GOMS是人机交互研究领域内少有的几个广为人知的模型之一，并被称为最成熟的工程典范，该模型在计算机系统的评估方面也有广泛的应用。

GOMS的局限性

• GOMS没有清楚的描述错误处理的过程，假设用户完全按一种正确的方式进行人机交互，因此只针对那些不犯任何错误的专家用户。
• GOMS对于任务之间的关系描述过于简单,只有顺序和选择.另外选择关系通过非形式化的附加规则描述，实现起来也比较困难。
• GOMS把所有的任务都看作是面向操作目标的，而忽略了一些任务所要解决的问题本质以及用户间的个体差异，它的建立不是基于现有的认知心理学，无法代表真正的认知过程。

LOTOS

国际标准形式描述语言，适于描述具有并发、交互、反馈和不确定性等特点的并发（concurrent）系统中的行为。

开始作为一种描述 络协议的语言，由于交互系统、特别是多通道交互系统有并发系统的特点，因此成为用来描述交互系统的行为模型。

LOTOS算子的思想

• 系统的外部可见行为可以看作是由一个有时序关系的交互序列组成。
• 系统由一系列进程组成，进程同环境之间通过称为“关口”（gates）的交互点进行交互。
• 两个以上的进程在执行同一个外部可见的行为时会发生交互操作，进行数据交换、信息传递、协调同步等操作。
• 进程行为用“行为表达式”来描述，复杂的行为由简单的行为表达式通过表示时序关系的LOTOS算符组合而成。
• 在将LOTOS思想用于人机交互的行为模型时，用进程之间的约束关系来描述交互子任务之间的关系。

基本运算符(*)

• T1 ||| T2（交替Interleaving）
  T1和T2两个任务相互独立执行，可按任意顺序执行，但永远不会同步。

• T1 [] T2（选择Choice）
  需要在T1，T2中选择一个执行，一旦选择某一个后，必须执行它直到结束，在这中间另一个再无执行机会。

• T1 | [a1,…,an] | T2（同步Synchronization）
  任务T1，T2必须在动作（a1,……，an）处保持同步

• T1 [> T2（禁止Deactivation）
  一旦T2任务被执行，T1便无效（不活动）

• T1 >> T2（允许Enabling）
  当T1成功结束后才允许T2执行

优缺点

• 状态转换 络比相应的文本解决方案更易于设计、理解、修改和文档化，它给出了对行为的精确的、甚至是格式化的定义。

• 存在着一定的局限性，一个最大的缺陷是需要定义出系统的所有状态，这对于小型的系统是没有问题的，但是在一个较大的系统中，系统会很快崩溃，状态的数目是呈指数级增长的，同时状态的增长直接导致了状态转换 络过于复杂、无法实际应用。

扩展状态转换 络

什么是可用性及其可用性的基本原则（P247）

可用性定义

指特定的用户在特定环境下使用产品并达到特定目标的效力、效率和满意的程度。
这五个方面集中反映了用户对产品的需求，从它们的英文表达上被归纳为五个“E：

1. 有效性：怎样准确、完整地完成工作或达到目标
2. 效率：怎样快速地完成工作
3. 吸引力：用户界面如何吸引用户进行交互并在使用中得到满意和满足
4. 容错能力：产品避免错误的发生并帮助用户修正错误的能力
5. 易于学习：支持用户对产品的入门使用及在以后使用过程中的持续学习

基本原则

1. 可学习型

可学习性是指交互系统能否让新手学会如何使用系统，以及如何达到最佳交互效能。

1. 可预见性

不应该让用户感到过分惊奇；用户利用前面交互过程的了解就足以确定后面交互的结果。

2. 同步性

指用户依据界面当前状态评估过去操作造成影响的能力，也就是说用户能不能同步地知道交互操作的结果。

3. 熟悉性

4. 通用性

在交互中尽可能地提供一些通用的或能够从现有功能类推出来的功能。

5. 一致性

在相似的环境下或执行相似任务时一般会执行相似的行为。

2.灵活性

灵活性体现了用户与系统交流信息方式的多样性。

1. 可定制性

用户或系统修改界面的能力。

2. 对话主动性

将人机交互的双方看作是一对对话者，重点是谁是对话的发起人。

3. 多线程

4. 可互换性

任务的执行可以在系统控制和用户控制间进行转移。

5. 可替换性

要求等量的数值可以彼此交换。

3.鲁棒性

用户使用计算机的目的是达到某种目标。能不能成功地达到目标和能不能对到达的目标进行评估就体现为交互的鲁棒性.

1. 可观察性

允许用户通过观察交互界面的表现来了解系统的内部状态。

2. 可恢复性

用户意识到发生了错误并进行更正的能力。

3. 响应性

反映了系统与用户之间交流的频率。

4. 任务规范性

系统为完成交互任务所提供的功能是否规范。

案例综合分析(P277)