Leap Motion运行原理介绍

定位与输入是vr技术的关键,leap motion使用的是一种基于计算机视觉原理的识别技术。目前在业内比较有代表性的就是leap motion的手势识别技术,当然这并非leap motion独有的技术,hololens上同样搭载该技术。从 api 的角度大概说一下。
leap motion 传感器的结构:
大体上,leap 传感器根据内置的两个摄像头从不同角度捕捉的画面,重建出手掌在真实世界三维空间的运动信息。检测的范围大体在传感器上方 25 毫米到 600 毫米之间,检测的空间大体是一个倒四棱锥体。
首先,leap motion 传感器会建立一个直角座标系,座标的原点是传感器的中心,座标的 x 轴平行于传感器,指向屏幕右方。y 轴指向上方。z 轴指向背离屏幕的方向。单位为真实世界的毫米。如图:
在使用过程中, leap motion 传感器会定期的发送关于手的运动信息,每份这样的信息称为“帧”( frame )。每一个这样的帧包含检测到的:
所有手掌的列表及信息;
所有手指的列表及信息;
手持工具(细的、笔直的、比手指长的东西,例如一枝笔)的列表及信息;
所有可指向对象(pointable object),即所有手指和工具的列表及信息;
leap 传感器会给所有这些分配一个唯一标识(id),在手掌、手指、工具保持在视野范围内时,是不会改变的。根据这些 id,可以通过 frame::hand( ) , frame::finger( ) 等函数来查询每个运动对象的信息。
leap 可以根据每帧和前帧检测到的数据,生成运动信息。例如,若检测到两只手,并且两只手都超一个方向移动,就认为是平移;若是像握着球一样转动,则记为旋转。若两只手靠近或分开,则记为缩放。所生成的数据包含:
旋转的轴向向量;
旋转的角度(顺时针为正);
描述旋转的矩阵;
缩放因子;
平移向量;
对于每只手,可以检测到如下信息:
手掌中心的位置(三维向量,相对于传感器座标原点,毫米为单位);
手掌移动的速度(毫米每秒);
手掌的法向量(垂直于手掌平面,从手心指向外);
手掌朝向的方向;
根据手掌弯曲的弧度确定的虚拟球体的中心;
根据手掌弯曲的弧度确定的虚拟球体的半径;
其中,手掌的法向量和方向如下图所示:
“手掌球”的圆心和半径:
对于每个手掌,亦可检测出平移、旋转(如转动手腕带动手掌转动)、缩放(如手指分开、聚合)的信息。检测的数据如全局变换一样,包括:
旋转的轴向向量;
旋转的角度(顺时针为正);
描述旋转的矩阵;
缩放因子;
平移向量;
leap 除了可以检测手指外,也可以检测手持的工具。像上文所说的,就是细的、笔直的、比手指长的物件:
对于手指和工具,会统一地称为可指向对象(pointable object,抱歉不太会翻译),每个 pointable object 包含了这些信息:
长度;
宽度;
方向;
指尖位置;
指尖速度;
方向和指尖位置如下图:
根据全局的信息、运动变换,手掌、手指和工具的信息和变换,开发者就可以靠这些来制作游戏、程序了。

PACK电池包的分类与组成
iPhone8可能采用面部识别,科技感十足!
基于单片机的车载超级电容测试系统设计
AMD谈云游戏前景问题
采访北斗三号设计师:北斗和我们生活息息相关
Leap Motion运行原理介绍
iPhoneXR国行版将于10月19日开启预定26号开售
华为鸿蒙OS 2.0暂定12月18日开放Beta测试
爱奇艺将发布VR系列新品推进VR的普及
雷蛇巴塞利斯蛇鼠标评测 体验非常不错
虽然站在制造业风口上 国产机器人还是有很长的路要走
如何进行CANBUS数据采集
寄存器的电路结构与惯常用法
OPPOEncoQ1耳机高清图集
Powercast免电池能量收集RFID标签可以实现电子纸信息更新
深度测评日产进口途乐5.6L V8
高新民:《工业互联网标识管理办法》的进一步解读
linux系统磁盘管理及分析必备命令
区块链存储未来将如何运作
RC振荡电路起振条件