体感技术在移动平台上的应用

体感技术在移动平台上的应用

2006年，Nintendo发表了新时代游戏主机Wii，掀起了体感游戏的序幕。“体感技术”的基本概念，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。举个例子，当你站在一台电视前方，假使有某个体感设备可以侦测你手部的动作，此时若是我们将手部分别向上、向下、向左及向右挥，用来控制电视台的快转、倒转、暂停以及终止等功能，便是一种很直接地以体感操控周边装置的例子，或是将此四个动作直接对应于游戏角色的反应，便可让人们得到身临其境的游戏体验。其他关于体感技术的应用还包括：3D 虚拟现实、空间鼠标、游戏手柄、运动监测、健康医疗照护等，在未来都有很大的市场。

体感技术原理及技术演进

如图1所示，图片中的玩家手持游戏手柄进行“网球体感游戏”，玩家的手部击球动作可完全用来模拟并控制游戏里游戏角色的球路，而玩家手部的动作与游戏角色球路的对应是如何实现的呢？原理在于玩家手上的手柄能获取玩家手部的各种物理参数，例如：加速度、角速度、位移……等等，然后再进一步通过算法，将这些物理参数转化为人体在空间中的三个位移量，以及三个旋转量，如此一来便可将手部在空间中的各种动作（平移 + 旋转）完全描述出来，接着再将此平移及旋转量传输给游戏角色，游戏角色便可与玩家做出相同的动作对应。因此所谓的“体感游戏”，便是通过各种传感器捕捉人体的肢体动作（平移 + 旋转），并将所计算出的肢体动作对应于游戏上角色的反应，使玩家的动作与游戏中角色的反应呈现1:1拟真的对应。

图2说明了近年来全世界在体感技术上的演进，依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。

惯性感测：主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，分别为加速度、角速度以及磁场，再根据此些物理参数来求得使用者在空间中的各种动作。主要代表厂商为Logitech在2007年推出空间鼠标（MxAir），使用三轴重力传感器以及两轴陀螺仪，可感测使用者在空间中的手部动作，并将此动作转化为鼠标在屏幕上垂直方向与水平方向的位移。

2009年，苹果智能型手机开始拉开了手机体感游戏热门下载的序幕，许多使用惯性传感器来适配的体感游戏不断地孕育而生。其中，iPhone使用了以三轴重力感测以及三轴磁传感器为主的惯性感测。2010年，基于未来手机上即将陆续推出拥有重力传感器、磁传感器和陀螺仪的智能型手机，CyWee发展了面向这三种传感器的特有算法，称为九轴混合感测算法（9 - axis Sensor Fusion Technology）。所谓的九轴，指的便是可量测空间中三轴向之重力传感器、可量测三轴向之磁传感器，以及可量测三轴向之陀螺仪，此算法可克服传统上仅使用个别单一传感器的缺点，进而达成更精确的空间中动作捕捉原理体感体验。

光学感测： 主要代表厂商为 S o n y 及Microsoft。早在 2005年以前，Sony 便推出了光学感应套件——EyeToy，主要是通过光学传感器获取人体影像，再将此人体影像的肢体动作与游戏中的内容互动，主要是以2D平面为主，而内容也多属较为简易类型的互动游戏。

直到 2010年，Microsoft发表了跨世代的全新体感感应套件——Kinect，号称无需使用任何体感手柄，便可达到体感的效果，而比起 EyeToy更为进步的是，Kinect 同时使用激光及摄像头（RGB）来获取人体影像信息，可捕捉人体3D全身影像，具有比起EyeToy更为进步的深度信息，而且不受任何灯光环境限制。

惯性及光学联合感测：主要代表厂商为Nintendo及 Sony。2006年所推出的 Wii，主要是在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度，以及一红外线传感器，用来感应在电视屏幕前方的红外线发射器讯号，主要可用来侦测手部在垂直及水平方向的位移，来操控一空间鼠标。这样的配置往往只能侦测一些较为简单的动作，因此Nintendo在2009年推出了Wii手柄的加强版——Wii Motion Plus，主要为在原有的Wii手柄上再插入一个三轴陀螺仪，如此一来便可更精确地侦测人体手腕旋转等动作，强化了在体感方面的体验。至于在2005年推出EyeToy的Sony，也不甘示弱地在2010年推出游戏手柄Move，主要配置包含一个手柄及一个摄像头，手柄包含重力传感器、陀螺仪以及磁传感器，摄像头用于捕捉人体影像，结合这两种传感器，便可侦测人体手部在空间中的移动及转动。

体感技术于移动装置端最新应用——九轴体感技术 + 无线多媒体串流技术

体感技术应用移动装置上时，往往受限于手机屏幕天生便嵌入手机的特性，因此仅能以较简单的体感方式来操作所有的体感游戏。

例如在图3的赛车游戏中，原本使用按键来控制赛车游戏的转向，现在便可透过倾斜手机的方式，来以体感方式真实模拟赛车游戏中的转向。然而，在图4中的高尔夫球游戏，若你同样想要以体感的方式挥动手臂来模拟游戏中人物的挥杆，便会发觉无法实现此操作，原因在于：当你挥动手臂时，手机的画面也随着手臂挥击出，此时便无法观察游戏的进行，因此这类型的游戏十分不适合体感操作。

而如图5所示，若能将手机视频以无线、实时的方式传输至一固定屏幕（TV）上，此时玩家眼睛所及的游戏画面并不会因手机的挥动而影响体感游戏的进行，因此便可在手机上体验类似高尔夫球的体感游戏了。这是一个在移动设备上的创新应用，大大扩增体感游戏厂商开发体感游戏上的自由度，而无需局限于仅以较简单体感方式倾斜或转动手机来进行体感游戏的开发。

最适用于移动设备上之体感技术（1）——九轴惯性感测（9-axis Sensor Fusion）

杭州网站建设

对于一般移动设备来说， 例如手机及Table，皆为可携式组件，因此需有固定于屏幕前方的光学感应棒的体感技术将受限。由于惯性体感感测无需任何感应棒置于玩家前方，因此以惯性感测方式应用于手机体感游戏将是最佳的解决方案。而惯性感测中九轴混合感测算法（9-axis Sensor Fusion），将提供真正1:1动作对应，实时以及 360°自由动作检测的最佳体现。

使用九轴混合感测算法的原因在于，各个单一的惯性传感器都有各自的缺点，因此势必得使用混合感测的方式，通过彼此补偿来加以改善各自的缺点。如图6所示，如果仅仅只使用重力传感器，将会产生延迟反应、强烈误动作以及奇异点等问题，这是因为重力传感器会同时量测到重力变化以及人体加速度变化，因此若无法将此两个感测值加以分离，便会造成上述问题。而若是以重力传感器加上磁传感器，

除了延迟反应之外（磁传感器反应速率远小于重力传感器），磁传感器也易受外界磁场的干扰，而造成感测错误的问题。而若是以重力传感器加上陀螺仪的组合，则会产生累积误差，而且陀螺仪易受温度影响而产生的感测值飘移（drifting）等问题。因此，最完美的组合方案便是将三种传感器结合起来进行混合感测及补偿，便可达到最精确、最实时、绝对位置及不受磁场干扰等的体感体验。

图7中描述了CyWee九轴混合算法的各种输出，其中的校正后的Sensor原始数据，CyWee提供了动态及静态校正，可让使用者在使用中不会遇到感测数据不精确的问题，同时，也可使得工厂制造端无需额外进行传感器校正程序。以及Orientation、旋转矩阵、四元素、 重力变化以及线性加速度输出，也都提供了体感游戏开发商直接调用。例如OpenGL定义的3D物体旋转及平移的API，节省了游戏开发商对于体感演算开发的时间，这些输出已经被定义于Google Android 2.3之后版本的API中。

此外，CyWee也提供了各种动作判断输出，可供体感游戏开发商直接调用。图8描述了CyWee为开发商提供体感游戏中各种体感动作算法的输出结果，称为动作数据库（Motion Library），可大大地节省体感游戏开发商开发体感游戏的时间及成本，根据不同的动作类型，可适用于不同类型的体感输出，例如射击类动作输出、射箭类动作输出、击打类动作输出等。

最适用于移动设备上之体感技术（2）——无线多媒体串流技术（Wireless HDMI）

图9描述了世界上各个厂商对于无线多媒体串流技术的规格比较，可根据操作频段、影像压缩方式、功耗、传输带宽、支持最大分辨率、延时时间以及传输距离等因素来进行比较，可发现应用于移动设备上时，功耗及传输所需带宽为最大的问题。

功耗方面由于移动设备为一使用电池的装置，因此，在能够让使用者使用无线多媒体串流超过数个小时（例如：玩游戏、看影音视频）而不会耗尽电池的各种方案中，可发现CyWee的解决将是最佳的解决方案。而在所需传输带宽方面，由于手机使用的是1（Transceiver）X 1（Receiver）天线，因此所能支持之最大传输带宽有限，所以在超过 1 X 1天线所能提供带宽的解决方案，都将是无法适用的。

最新动态与未来展望

CyWee已拥有多年的发展体感技术的经验，除了原本在体感游戏及体感手柄销售上有长足的进展外，在移动领域上更是为之前JIL（Joint Innovation Laboratory）Project所唯一指定的体感方案供货商。目前更进一步的授权许多国际大厂使用CyWee体感算法，并于Android2.3版本上加以整合，以适配Android 2.3 版本之后关于体感方面API的定义。

而在无线多媒体串流的领域，由中国移动所主导的WiMo（Wireless Mobile MultimediaTransmission Protocol）移动终端无线多媒体传送技术，为支持高清音视频无线传输的技术协议，该技术支持移动终端与大屏幕设备之间无线、实时、高画质视频信息传输，可实现以行动终端为核心的多屏共享互动。

展望未来，九轴体感技术结合无线多媒体串流技术在移动设备上的发展潜力是值得期待的，而无线多媒体串流技术除了会更进一步提升芯片的性能外，也会将其整合于更多需要高传输率、低延时视频压缩的平台中（例如: 网络视频播放、云端游戏等），相信最终必定能够在各种移动的平台上，创造出许多属于未来的应用。

转自 http://www.zjteam.com/news/detail.asp?newsid=335&classid=2

本文作者：吕英阁，2003年获台湾大学机械系硕士学位。大学毕业后，进入台湾工业技术研究院微系统中心，从事体感技术研究。2009 年加入速位互动股份有限公司（CyWee Group Limited）， 继续从事体感技术的研究，作为核心研发成员，完成了9轴体感技术的核心算法。