作为未来VR与移动设备交互新手段，“眼动追踪”怎样用上MEMS？

[转]  http://m.leiphone.com/news/201606/fzDCVloNp8Y5woZM.html?from=timeline&isappinstalled=0

雷锋网(公众号：雷锋网)按：本文作者阿hong，系MEMS在读博士生。欢迎关注其知乎专栏“微纳机电系统(MEMS/NEMS)。

什么是眼动追踪

眼动追踪（Eye Tracking），是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备，在视觉系统、心理学、认知语言学的研究中有广泛的应用。

移动端的眼动追踪技术也开始发展，苹果申请了若干相关专利，通过“该技术可以根据用户视线延迟显示屏操作的执行，还可以改变用户界面，生成并执行相关信息。例如，当用户输入文本时如果出现拼写错误，且眼睛正在注视错词，系统将自动修正；如果设备发现用户的视线没有注视错词，系统将延迟修正。苹果认为该功能可以让操作更直观。”（该描述来自苹果2012年9月提交的专利申请）

LG和三星也曾推出过具有眼动追踪技术的手机。如三星Galaxy SIII就可以通过检测用户的眼睛状态来控制锁屏的时间，同时眼球还可以来控制页面的上下滚动。

无创眼动追踪

一种比较常用的无创眼动追踪方式为视频/图像捕捉。摄像头拍摄得到眼部图片，具有一些可以提取的特征，经过某些图像处理的算法提取出这些特征参数，从而确定眼球位置，用于判定人眼注视的方向和目标，计算结果由处理器CPU反应于你所使用的VR/AR设备上。

根据7invensun的介绍，眼图录像法和角膜反射法都属于该类方法。

眼图录像法主要是通过辨认眼球的特征如瞳孔外形、异色边缘（虹膜、虹膜边界）、近距指向光源的角膜反射来实现眼动跟踪。根据云视频的宣传，其所提到的能够读懂人“眼神意识”的视频技术，就是基于此项技术。然而虹膜识别+瞳孔运动识别虽然可以捕捉人眼的动作但却无法检测到人眼的注视点，这才是最硬的伤！

首先虹膜识别和瞳孔识别都是基于一个平面的，要测量注视点就必须保证头部是固定的，让眼睛同头和注视点的相对位置一致才可以。人眼作为人体最精细的器官之一，注视点转移仅需要一个微小的动作，而人类仅仅因为呼吸而造成的头部动作就足以让测量误差造成定位偏移。然后我们再退一万步讲，即使头部是固定的，对于虹膜的识别也没那么容易，欧洲人的人眼特征较为明显，识别相对容易，但也不是一个家用普通摄像头就可以判断眼球特征的，而亚洲人瞳孔多为深褐色，人眼特征较弱，普通摄像头几乎无法捕捉。因此从云视链的眼球追踪技术的出发点来说，通过眼神就能推送出你想要的信息是不可能的了！

角膜反射法是目前眼球追踪领域广泛认可并应用的方法，主要通过摄像头捕捉人眼特征，通过算法建立人眼二维或者三维注视点估计模型，通过算法判断人眼动作和注视点。眼球的特殊构造会形成一到多个浦肯野像，基于这种方法的眼球追踪一般定位第一浦肯野像，通过定标步骤，可以测量出处在垂直平面现实定标点表面上人眼的注视点。

——《云视链背后的“读眼”技术，并不那么好实现》

有创眼动追踪

有创手段包括在眼睛中埋置眼动测定线圈或使用微电极描记眼电图。眼电图（electrooculography ）检测方式通过电极测量当眼球移动时的电位变化，其原理是眼球可以被考虑为偶极子。其优点是成本低，但普及型差。 

图示为眼电图方法及收集信号示意图

MEMS技术与眼动追踪相结合

技术优点

MEMS（Micro electro mechanical systems，微机电系统/微机械/微系统），是采用微电子技术、集成电路技术及其加工工艺制作而成的微米级别机械器件。MEMS往往会采用常见的机械零件和工具所对应微观模拟元件，例如它们可能包含通道、孔、悬臂、膜、腔以及其它结构。

MEMS传感器、驱动器同样可以实现眼球追踪功能，并且具有极大的发展潜力。MEMS器件的特征长度从1毫米到1微米，相比之下头发的直径大约是50微米。MEMS器件主要优点是体积小、重量轻、功耗低、可靠性高、灵敏度高、易于集成等，是微型传感器/驱动器的主力军，正在逐渐取代传统机械器件。

其成本有可能通过工艺优化、批量生产大幅度降低，主要原因是由于MEMS生产不同于传统加工制造生产，MEMS采用类似于集成电路的制造工艺，由于产品体积小，在一个二十厘米的硅片上可一次性生产出上千器件。若单个MEMS传感器芯片面积为5mmx5mm （也有大量MEMS传感器可以小于毫米尺度），则一个8英寸(直径20厘米)硅片(wafer)可切割出约1000个MEMS传感器芯片，分摊到每个芯片的成本则可大幅度降低。由于具有上述优势，基于MEMS的眼动追踪系统在AR/AR系统中具有不可比拟的优势，也将成为VR/AR装置小型化、低成本化的重要资本。

图示为8英寸硅片上的MEMS芯片（5mmX5mm）示意图

图示为硅片，其上的重复单元可称为芯片（chip 或die），每个重复单元可含有若干MEMS传感器，甚至包含相应的集成电路。

技术原理（苹果专利及滑铁卢大学成果）

下面介绍MEMS眼球追踪技术一项来自苹果专利（微型眼动追踪系统与方法US 20150238079 A1），该苹果专利为可使用与移动端的微型眼动追踪系统与方法。其专利介绍如下：

本发明公开了一种微型眼动跟踪系统，包括一个摄像头（应是与MEMS大小相近的微型摄像机），一个微机电系统（MEMS）设备和处理器。相机拍摄眼睛的图像，MEMS装置控制相机的视角方向，处理器接收来自相机的眼睛的图像，确定相机图像内的眼睛的位置，并控制MEMS以保持相机指向眼睛。

该方法首先由相机拍摄获得眼睛的图像，然后处理器通过该图像确定图像内眼睛的位置，并控制MEMS以保持相机指向眼睛。在另一个实例中，该微机电系统装置控制相机的可调焦距。首先由该处理器确定眼睛图像的聚焦状况，再通过MEMS设备调整摄像机以保持所需的聚焦条件。在所提及的第三个实例中，该MEMS设备可以控制相机变焦。该处理器确定眼睛在整体图像中的大小，然后通过MEMS设备控制摄像机以保持眼睛图像在整体相机图像内的特定大小。

图示为苹果基于MEMS的眼动追踪示意图

由于MEMS驱动器极小（可从0.1微米至几个微米），可以直接应用于手机等移动端的微型眼动追踪系统中。上图展示了一个采用MEMS驱动器对摄像头进行移动/转动来控制拍摄的例子。主要原理为采用两个MEMS驱动器（1405a和1405b）连接平台（底座）和摄像机及镜头。两个MEMS驱动器中，一个连接在摄像机一侧来产生水平方向的移动，另一个连接在底部或顶部来产生垂直方向的移动。

专利中并没有特地指出采用何种MEMS驱动器，专利更侧重于构建这样一个系统。实际MEMS中有非常多的方法可以实现伸缩。MEMS常用的伸缩结构有弹簧spring，spring大部分属于被动器件。主动伸缩的话可以通过热膨胀（加热之后物体膨胀，例子有双晶片）、压电效应（加电之后产生力以及相应的位移）或静电驱动（通过静电力产生位移）。 

MEMS的弹簧结构 

 MEMS中一些主动位移结构

另一项来自加拿大滑铁卢大学（N.Sarkar：SCANNING DIFFRACTIVE OPTIC ELEMENTS FOR UNTETHERED EYETRACKING MICROSYSTEMS）的MEMS眼动追踪技术则是完全基于MEMS器件的方案，取消了体积较大的摄像头。

眼睛与眼角膜具有不同的直径，这是该设计的原理基础。该方案通过采用下图所示的简单设计从而实现在尺寸、价格、功率、带宽、准确性上的改进。

该设计使用一束低辐射（1-10μW/cm²），红外（850nm）、发散（50mrad）的光束。光束从激光源发出后射向扫描仪scanner，扫描仪scanner具有一个平面，功能类似于镜子，将入射光束反射。再由扫描仪scanner操控该光束射向眼角膜，然后从角膜表面反射（在掠射角从60^⁰到90^⁰）到一个光电二极管。光电二极管的作用为接受光信号，产生电信号。输出电信号随输入光强增大而增大。随着眼睛的转动，扫描仪scanner控制光束追踪眼角膜上能够使光电二极管接受到最大信号的点。

值得注意的是，其光电二极管的表面可作为一个空间滤波器，使其不需要大面积平坦的微镜。相应地，该设计使用了一个300微米大小的扫描仪（Fresnel zone plate scanner）。其支撑anchor可以实现扫描仪scanner两个自由度（蓝色支撑以及红色支撑均可旋转）的偏转，可以完成光束的较大范围操纵。 下图为另一种同样具有两个自由度的扫描仪scanner，其工作原理与上图类似，通过支撑anchor的旋转对扫描仪进行旋转，从而操纵光束的角度。其中间载荷为垂直排列的两个cylindrical lens patterns用以投射十字准线（crosshair）。

进行色彩描绘后的扫描仪scanner的扫描电镜图，其整体尺寸小于一毫米（1000微米）

其制作的扫描仪scanner模块产品原型

结语

2016年被广泛认为是VR元年，眼动追踪等相关技术开始进入高速发展阶段。本文介绍两种MEMS技术在眼动追踪中的应用。随着游戏娱乐、虚拟实境、甚至智能手机对眼动追踪需求日益旺盛，MEMS技术将通过其不可比拟的体积优势为眼动追踪提供重大改进，打造出更具便携性的VR/移动设备，从而大幅提升用户苛刻的体验诉求，在虚拟设备中进一步帮助用户达到真实的感受。

参考资料来源：

Eye tracking

Eye-tracking tech：The Eye Tribe shows off its $99 hands-free tracker for tablets

某视链的“眼动追踪”可没那么容易实现

L10 ELECTROOCULOGRAM I

Electrooculography 眼电图 Eye Tracking 眼动追踪

Systems and Methods for Miniaturizing Eyetracking Systems

苹果获得眼球追踪专利 未来或用在iPhone上

苹果再获生物识别专利：眼球追踪技术

苹果新获专利曝光：iPhone7或内置眼球追踪视线软件

iPhone 7 Eye Tracking Could Be Apple's New Patent