一种基于目光追踪技术的移动设备辅助操作系统/ 针对于高位截瘫，渐冻人，脑瘫患者的简易手机操作软件设计

2.2软件框架及内容：

（什么前端后端的理解起来费劲，说简单点，就几个方面）

A．脸部追踪

先强调下面部追踪和识别的区别，识别是指在一大堆面孔图中找到需要的那一个（需要用到神经 络，tensorflow之类的技术）。而追踪仅仅是在一张图中找到哪个是脸，就像Facebook，qq空间上那种类似的功能，经常提示你去给找到的脸加标签什么的。（这里普及下视频分析的基本原理，视频由许多帧图片组成，图片由许多像素组成，每个像素具有四个值rgba。在计算机科学中，这四个值一般都是当作向量来处理。我们通过对这些个向量进行求模，进行灰度化，黑白化，当然还需要一段代码来自动调整阈值。调整到到能够找到明显轮廓的程度，轮廓定义好了，把它扔进一个轮廓识别库里进行对比，满足要求，就识别成脸。openCV已经提供了这种识别库，一个XML文件，可以免费下载。）详细的理论有空的人可以去读一读这篇论文：https://link.springer.com/article/10.1186/1687-6180-2011-40/fulltext.html
当然，这些太过理论化的东西我们不必在意，因为github上有很多已经可以拿来用的代码。就拿一个phython + opencv 的例子来说，短短几十行代码，已经可以近乎完美的追踪到摄像头前的人脸和眼部位置。https://github.com/Itseez/opencv/tree/master/data/haarcascades

所以我们需要同时追踪脸和眼睛，再加上条件，脸的范围内，纵坐标靠下两个位置是鼻孔，进一步处理的时候把他们忽略掉。

B. Gaze-tracing/Eye-tracing目光追踪

脸部定位完了，眼睛的位置就大概确定了，用类似脸部追踪的技术确定瞳孔中心的位置，瞳孔是深色的，圆形的（不同角度可能是椭圆）。找到这个圆形中心的坐标值，就找到了瞳孔的位置。（盗图是必须的）

另一个实验性的产品Gaze recorder。他们的源码貌似是公开的。 https://sourceforge.net/projects/gazerecorder/

还有一个有意思的例子是eye tribe 公司开发的手机应用，看视频，还可以用目光定位玩切水果。价格不菲不言而喻。

D．动作，功能定义

这一部分是最难清晰定义的，由于病患程度的不同，可以表达的方式也不同。我们从最基本的病例开始考虑，只能动双眼。
其实很像windows初期的操作方式，鼠标只有移动和左右键。我们的想法是，左右眼的双眨眼，或多次眨眼，代表了左右键的点击。Eye-tracing的技术，当然是相当于控制鼠标的移动。还好现在的视频设备帧数都比较高了，区分正常眨眼和指令性眨眼还是不困难的。
一些其他特殊的功能：
首先，这些病人最需要的是要表达自己当前状态的简单功能。我们需要把它预设成一些固定的常用语句。 比如表达疼痛感，诉求，给亲人发固定的信息，呼叫求助，控制床位高度等。然后用一些特定的表情来激活他们。
当然还有其他一些必须的功能操作，如，需要重新calibrate的时候，连续眨眼3s。关闭系统，长闭双眼5s。调整音量大小，亮度大小，休眠，等。
这部分的设计，必须要考虑到人眼的适应能力以及疲劳程度，我们需要做一些测试来保证使用者不会过度疲劳甚至伤害眼睛。另外，不同程度的病人可以加入更多的功能。比如说，不同方向的嘴角上扬，眉毛的动作，用来实现滚动，翻页，复制粘贴等等。（需要对前面提到的xml库进行解读和修改）。这些动作在软件设计的过程中还需要提供一定的自由度。用来给不同程度的病人自定义。
右撇嘴是向右翻页，皱眉头是发送警 ，吐舌头的方向控制床位高度。。。

3. 使用实例

软件的设计初期不能太复杂，我们先尽量实现一些基本的功能，完成基本的操作就行。必须满足的操作例子：瘫痪病人在支架和平板架设好以后，在护理人员的帮助下激活eye-tracing系统，用指针打开浏览器或相应app，浏览到相应页面，在论坛里发帖，回帖。激活输入法，输入并修改。基本操作能保证完成后。再逐渐的加入更多的功能，扩展等。

4. 未来的扩展

如果说想远一点，我们可以将这个理念扩展到残障病人车辆的应用上，之前的残疾人助动设备，是针对于上肢或手有能力活动的程度上，利用遥控杆操作设备。但随着自动驾驶技术已经基本成熟，利用这个理念可以实现让更高位瘫痪的病人有机会操作助动设备，达到自主移动的效果。（很多自动驾驶系统，像tesla的Autopilot 2.0，谷歌的什么什么名字忘了，都比较成熟了。大规模的应用是迟早的事儿。https://user.qzone.qq.com/4862545/mood/51324a00da389d58b4510b00）
结尾
对这个太过商业化的 会来说，这样的公益项目可能比较难实施。但因为它是一件对生命有意义的事，我们会坚持把它做下去，我会持续不断的对这篇文章进行更新，把想到的或找到的思路和代码一点点加入其中。坚信总有一天我们会完成这个项目。为那些需要帮助的人们带去希望。

2006毕业于北京机械工业学院，06-08机械设计。2008-10结构设计。10-12 AAUC Hoegskolen i Aalesund, Norway， MSc. Product & System design。2012-16 产品设计，Siemens， Subsea department。2016-17 NTNU i Aalesund, Norway，MSc. Virtualization & Simulation
邮箱地址：peach0865@hotmail.com 期待您的反馈和支持。