html5 js 多触点,多触点交互桌面左右手区分方法

随着普适计算、人机交互、计算机辅助协同设计等技术的不断发展,产生了以传统围桌为隐喻的多触点数字化交互桌面.此类数字设备使人们摆脱了鼠标键盘的束缚,可使用类似于日常操作桌面物体的方式直观、自然地操作数字内容.交互桌面在教育、医疗、设计、军事、娱乐等领域均有广阔的应用前景.

交互桌面使用自然的多指手势作为其主要的交互方式.对现有交互桌面手势交互技术进行总结可发现[,目前,交互桌面上使用的多为单手多指手势如多指放大、缩小、拖动,或者双手对称手势如双手放缩、旋转等,双手非对称交互用得很少.然而,文献[研究表明,在日常生活中,单手行为和双手对称行为数量较少,双手非对称行为是人们使用最多,也是最自然的行为.在文献[中,双手非对称交互技术的使用也间接地说明了交互桌面上使用双手非对称交互的自然性和直观性.此外,文献[中还指出,双手非对称交互中,左右手之间的分工会对任务的完成产生很大的影响.对于交互桌面,使其支持双手非对称交互的一个关键点为区分用户的左右手,为触点提供左右手信息,在此基础上才可为左右手分配不同的任务.

1相关工作

获取交互桌面触点手的信息可进一步增强交互桌面系统的交互能力,这已经引起了研究人员的极大兴趣. Benko等人[使用肌肉传感器感知用户当前手指的运动,使用该方法可提取单个手的手指信息,如当前点为食指或者中指,但不能判断当前点的左右手归属.Marquardt等人[使用fiduciary-taggedglove可识别用户手各部分的信息,如指尖、手掌、手背、手的侧面,区别同一用户的不同手以及多个用户的手.Dohse等人[通过在交互桌面上方添加摄像头来跟踪用户的手,将触点检测和手跟踪的结果相结合来获取触点所属手信息.类似地, Wilson等人[在桌面顶部添加深度相机,利用深度相机获取手指触点所属用户、用户手臂及用户手的信息. Murugappan等人[也利用桌面顶部深度相机获取触点手归属、手的左右手手性以及手姿势等信息.这些方法虽然可以提供用户左右手信息,但需要额外的硬件设备,一方面增加了系统的成本,另一方面也增加了系统的复杂度.

2手-臂系统三角形模型

Nielsen指出,基于用户的手势设计应遵循4条核心的指导原则[:容易操作和记忆、直观性、与具体功能有相关性并应满足人体工学设计.由于人手解剖结构的约束,人的手腕及手指只能在一定范围内活动,如果手势设计得不合理,会使手负担过重而受到伤害.Nielsen给出手势设计中应考虑的6条人体工学原理:避免机体处于极限位置、尽可能地使肌肉处于放松状态、尽可能地使机体处于其极限状态的中间位置、避免机体动作的重复、避免保持某姿势不动、避免使关节受力.与交互桌面交互相关的手腕运动包括伸展或者屈曲、绕尺骨或者桡骨偏离,如图 1所示.

图 1

Fig. 1

图 3

Fig. 3

3.2预处理

图 5

Fig. 5

在触点聚类过程中,会用到两个很重要的数据模型:互斥矩阵及距离矩阵.互斥矩阵是触点聚类的重要依据,互斥矩阵Rnumxnum=(rij)numxnum中保存图像中手指两两之间同手及异手的情况,其中,num表示当前手指触点的个数.在预处理过程中对R初始化,初始状态rij=2,表示手指Fi与Fj尚未分类.在聚类过程中,若确定Fi与Fj不属于同一只手,则置rij=0;若属于同一只手,则置rij=1,聚类的过程即为更新该互斥矩阵的过程.距离矩阵Dnumxnum=(dij)numxnum中保存图像中手指两两之间的距离,触点Fi与Fj之间距离

判定2:若两触点距离dij

图 8

Fig. 8

上述3步判定按顺序依次进行,每一步判定的结果均保存在互斥矩阵中.互斥矩阵初始化后只做一次赋值,也即以首次判定结果为准,每次判定结束后按照互斥矩阵对触点做一次分类,若不能将所有手指分类,则进入下一步判定,触点分类初始化后也只做一次赋值.

3.4左右手识别

触点聚类将属于同手的触点归为一类,左右手判定将识别某类是左手触点还是右手触点.判断当前分类的个数,若有两类,则选取触点个数较少的一类做判断,另一类的手性可随之确定,具体识别方法如下:

首先,根据该类触点重心所在交互桌面位置作初步判断.用户双手在大幅面交互桌面上的操作范围受限于手臂长度.中华人民共和国电力行业标准(DL/T 575.3-1999)对控制中心用户坐姿状态时人手可及范围与操作区域进行了详细划分,如图 10所示.这一划分对于交互桌面同样适用.用户在交互桌面上操作时,其左右手分别可及范围是有限的,桌面上的某些区域只有左手可及为左手操作区,某些区域只有右手可及为右手操作区,某些区域双手均可及为双手操作区.可首先根据触点位置判断触点左右手归属,若触点在左手操作区则属于左手,若触点在右手操作区则属于右手,若触点在双手操作区则需做进一步判断.若该类触点个数大于1,则可计算该类触点重心,根据重心所在区域判断该类触点手性,如果重心位于双手操作区则做下一步的判断.

图 10

Fig. 10

4 交互桌面左右手区分方法的应用

4.1左右手区分方法与MTDriver的集成

将左右手区分方法集成到MTDriver工具包后,EMTDriver(extended MTDriver)的数据流程如图 12所示,橙色部分为新扩展部分.视频帧经背景去除、图像增强、高通滤波等一系列图像处理后,对输出图像做区域检测、触点跟踪.对一帧图像跟踪结束后,若此帧图像有新增手指触点,则调用左右手区分方法对本帧图像进一步处理以提取新增触点左右手信息,该左右手信息通过触点跟踪传递给下一帧更新的点.此处需要注意的是,虽然是对同一视频帧进行处理,但触点跟踪所得手指触点与左右手区分算法所得手指触点的触点中心并没有完全重合,有时会有微小的偏差,需要对两个处理结果做最近邻触点配对.发送的触摸事件中添加触点左右手信息,TUIO触点模型中也需要添加触点左右手信息.EMTDriver集成效果如图 13所示,其中,图 13(a)为EMTDriver跟踪识别效果,矩形表示左手,椭圆表示右手;图 13(b)为基于TUIO客户端开发的多点触摸应用程序,该程序可绘制当前输入触点的轨迹及左右手信息,其中,空心圆表示左手,实心圆表示右手,圆点表示手指当前位置,线段表示手指划过的轨迹.由于EMTDriver基于多触点信息发送通用协议TUIO,所以基于TUIO协议的多触点应用程序可以很方便地使用EMTDriver提供的左右手信息,而且EMTDriver的使用不会对现有多触点应用程序造成任何 影响.

图 12

Fig. 12

4.2EMTDriver的应用

例1:文本输入控制.通常在多触点交互过程中,当需要文本输入时,需要使用菜单显式地调用虚拟键盘,并且将虚拟键盘的输入方式通过按钮显式地转化为手写输入.从日常生活和工作中可以看到,人们在需要书写的时候,总是左手按纸右手执笔写字.以此为启示,在特定上下文中,可以将左手多指输入信息作为文本输入的起始条件,然后,系统切换到文本输入状态,然后,右手使用手指进行手写输入.

例2:三维交互控制.对三维空间中物体的控制需要6DOF,分别为绕空间坐标系3个坐标轴的旋转[y,q,φss]以及在3个坐标轴上的位移[dx,dy,dz].交互桌面多指(手指个数不小于2)输入为3DOF,即[dx,dy]及绕Z轴的旋转[φ].在区分左右手、使用双手多指输入(每只手使用的手指个数不小于2)的情况下,可以提供6DOF的输入,问题的关键在于:如何对左右手进行分工,才能使3D交互控制自然而直接.通常情况下,人们总是习惯左手把持、旋转物体,并使用右手指点物体;在左手把持物体时,右手旋转物体,如拧螺丝或者拧瓶盖,顺时针可使物体上移、逆时针可使物体下移.受此启发,可以使用左手控制3D物体的旋转操作,右手控制3D物体的平移操作.具体而言,可使用左手的上下操作控制角度y即绕X轴的旋转,使用左手的左右操作控制角度q即绕Y轴的旋转,使用左手的旋转操作控制角度f即绕Z轴的旋转,使用右手的左右操作控制dx即X轴的平移,使用右手的上下操作控制dy即Y轴的平移,使用右手的旋转操作控制dz即Z轴的平移.如图 14所示,图中箭头方向表示手指的移动方向.

图 14

Fig. 14

5 实验评估

实验评估内容包括:用户自然操作情况下手指触点聚类结果的正确率、聚类基础上左右手识别的正确率以及触点左右手识别的正确率.实验使用的多触点交互桌面基于LLP(laser light plane illumination)技术,其长、宽、高分别为140cm,104cm,90cm.软件平台的配置为MicrosoftWindows XP Professional版本2002 Service Pack 3.实验邀请了12名研究生(6男6女,均习惯用右手)参与,年龄为23岁~29岁.

图 16

Fig. 16

6 结束语

·以此为基础,提出了多触点交互桌面同手触点聚类方法及左右手识别方法.

·对MTDriver进行扩展,实现了可提供左右手信息的多触点跟踪工具EMTDriver.该工具的开发,为左右手信息的实际应用奠定了基础.

·基于交互桌面双手非对称交互技术的设计,为左右手信息在交互桌面上的应用提供了几种可能的 途径.

评估表明,该方法可有效地对同手触点进行聚类及左右手识别,而且具有较好的时间性能,满足交互桌面交互实时性要求.

·其二,该方法目前仅局限于固定位置的单用户使用,接下来,我们将探讨用户身份区分方法,并考察该方法在多用户情况下的应用情况.

相关资源：触屏精灵V1.5-演示版.rar(触摸屏软件触屏交互)_触摸屏交互设计…