ToF传感技术让XR交互更自由
一、技术背景与发展趋势
在当前的xr（虚拟现实、增强现实和混合现实）应用中，物理形式的手柄控制器仍作为一种基础的交互方式被广泛使用。然而，物理手柄在高临场感的沉浸式xr应用场景下，需要用户进行适应性学习，其存在操作复杂度高、成本高等先天缺陷。
为增加xr交互的流畅性及沉浸感，香港光云科技（hksc）于近期推出一项凝聚其多年技术积累的创新性xr交互解决方案——truetof neural gesture。它基于time of flight（tof）传感器信号和深度学习来解析用户的精细手部动作，能够在无需手持外设下实现精准手势控制。
该方案充分发挥信号的优势，具有高精度、低延迟等诸多技术优势，为xr应用提供一种更自然、沉浸的交互体验，同时结合了香港光云科技（hksc）最新的 3d语义理解技术，可以准确识别用户手势信息所表达的行为意图，为各类应用场景提供丰富的用户动作属性标签。例如，在教育领域，学生可以通过手势直观地操控虚拟实验装置；在娱乐领域，游戏玩家能够更自然地与虚拟角色互动；在设计领域，专业人士可以轻松地编辑、调整3d模型等等。相较于传统xr设备的手柄控制器， truetof neural gesture能够为更多用户带来创新的xr体验，使用户能够更加轻松地探索和享受虚拟世界，无需手持的的物理外设，同时降低设备成本。
“training data is technology” openai首席科学家及联合创始人ilye sutskever阐明了精准的训练数据在大模型训练中的重要性。然而在3d空间对手部关节进行精准跟踪，必然需要大量的3d信号数据及其信号空间真值标注。hksc构建了专业3d数据库—truetof 3d 手势基础dataset，包含高质量的tof 3d 信号的raw数据以及高精度的3d标注数据。其中，3d手势超过10,000种，可供训练的案例超过100,000种，据此其开发了高精度3d手势识别方法。与传统数据集相比，truetof手势训练库中的数据具有精准的3d空间信息，尤其是深度z轴上的真值数据。truetof 3d dataset的建立，可以为ai学习提供更加准确、可靠的数据标注，为3d手势识别技术的发展提供有力的支撑。
二、truetof neural gesture
truetof neural gesture是一种基于truetof neural ip底层成像及3d语义技术的高精度3d手势识别方案。它够在三维物理空间中实现用户手部姿态的高精度追踪，增强现实及虚拟现实下的用户交互体验。与传统手势识别技术及行业内主流方案相比，truetof neural gesture具有以下技术优势：
• 高响应：基于信号的直接处理
• 高精度：支持双手21个关节点的<1mm精度跟踪
• 3d准度：精准测量传感器与手部各关键点之间的3d距离
• 角度精度：可扩大手势角度精度范围2倍以上，并提升角度分辨率至0.5°
• 稳定性：在正常光照和低光环境下，手掌检测的稳定性更好
• 可靠性：在户外环境和低光环境下检测及跟踪稳定，可适应不同应用场景
truetof neural gesture在性能方面表现出色，与业界公认的mediapipe等手势识别方案的关键性能指标上对比如下：
关键性能指标对比
truetof neural gesture现已支持多种手势控制：
1. gesture pointer：该手势类似传统的激光指针方式，允许用户用任一手指向并操控虚拟物体。通过truetof技术捕捉手部动作，用户可以轻松地执行这一操作。
2. controller pointer：该手势允许用户用双手以虚拟方式体验传统物理手柄控制器的操作。truetof技术可以识别用户的双手动作，并将其转化为虚拟世界中的控制信号。
3. poke pointer：该手势允许用户用任一手指（缺省为食指）“戳”虚拟物体，进行精确的选择和操作。truetof技术能准确捕捉这类手势，实现细致的交互。
4. grab pointer：该手势允许用户能够用单手抓取和移动虚拟物体，模拟真实世界中的抓取行为。truetof技术捕获手部动作，并实现自然地抓取操作。
通过上述交互式手势响应，truetof neural gesture为用户提供了丰富、自然的xr交互体验，将虚拟世界的操作与现实生活中的行为深度融合。同时，该团队也在不断扩充新的手势定义以及自定义手势的接口，以便用户能以更多丰富且自然个性的方式，与虚拟世界中的物体进行沉浸式交互。
三、truetof neural gesture的特点
truetof neural gesture能够为用户带来一种自由、高精度、低延时的交互体验，源于其技术的多方面优势：
1. 无束缚：truetof neural gesture为ar设备提供物理手柄替代方案，用户可通过自然手势控制数字环境，提高便捷性和实用性。
2. 低功耗：基于qualcomm平台，千次ai推理功耗仅为1.53 mwh，实现高性能手势识别的同时，也可有效延长消费电子产品的使用时间。
3. 高精度：基于ai技术重构的tof成像流程，空间定位误差<1mm，保证xyz三轴<1mm精确度，可为终端应用提供准确交互数据支撑。
4. 3d可度量：truetof neural gesture ai模型基于3d数据库训练，实现手部关节xyz三轴0.5°旋转精度度量，适应第一视角应用场景，可克服传感观测视角约束。
5. 低延时：采用hexagon dsp优化的<12ms的ai推理模型，保障实时交互需求，可应对高速动作和复杂场景。
四、truetof neural gesture benchmark
4.1 暗光测试：
暗光测试是在较暗环境中对手势识别技术的性能进行评估。传统的rgb手势识别方案的性能在这种环境下往往会受到较大影响。得益于优秀的truetof neural ip信号成像能力，truetof neural gesture技术在暗光环境下表现出较高的稳定性，对各类复杂室内光线条件不敏感，这不仅有助于提高手势识别精度，还可增强对光线变化环境下使用的鲁棒性。
truetof neural gesture的不同光照表现
4.2 室外评测：
室外场景的光线条件更加复杂多变，包括强光、阴影等多种不可控因素。truetof neural gesture技术在室外评测中同样表现出较高的稳定性和鲁棒性，能够保证户外环境下的高精度的手势识别需求。
truetof neural gesture室外场景表现
通过暗光测试与室外评测可以看出，truetof neural gesture在不同光照条件下均表现出优越性能，表明其在各种非限定光照条件的应用场景中能够提供鲁棒、高效的手势识别，可为用户带来优质、稳定且流畅的交互体验。
五、应用场景与未来展望
下一步，truetof neural gesture技术将不断优化和创新迭代，努力提升手势估计与识别的适配性及稳定性，同时引入更多ai算法不断提高手部关节识别的精度和语义识别。hksc相信3d语义等技术创新将持续为xr、metaverse、aigc、autonomous driving等更多场景提供基础应用支撑，truetof neural gesture技术也将在更广泛的数字信息领域发挥潜力，为用户带来更加智能、便捷的生活体验。
浅析数据中心制冷系统的节能技术
统一系统脆弱性管理平台：让“网络安全漏洞”无处遁形
【赋能IoT生态系列5之3】智能网管交换机升级方案
艾迈斯半导体收购颜色和光谱传感专家MAZeT， 提升在先进光学传感行业的领先地位
威图正式发布《锂电数字化智能制造发展白皮书》
ToF传感技术让XR交互更自由
凌力尔特推出5uA静态电流DC/DC降压型微型模块稳压器LTM8029
带你了解食品WMS仓储系统的价值
双速电动机实物接线图
智能AGV小车DYP-A02系列解决方案
手机的运行内存6g和8g的区别是什么
电感线圈的分类及特性
五种PCB集成电路装配办法
魅族发布真无线耳机POP2s，号称全面升级，带来高品质的声乐体验
小米6plus什么时候上市?小米6plus最新消息:小米Note2降价至冰点,为的是给小米6让路?然而小米6Plus却要发布了?
TLT507-MQTT通信协议案例
盘点当前主流显示器接口
微软将把即将推出的Windows 10X作为竞争对手来推广
华为OV三足鼎立，占据安卓手机半壁江山！占据市场份额秒杀其他一切安卓机！
视频监控技术发展或将会对企业和市场产生以下三大影响
在当前的xr（虚拟现实、增强现实和混合现实）应用中，物理形式的手柄控制器仍作为一种基础的交互方式被广泛使用。然而，物理手柄在高临场感的沉浸式xr应用场景下，需要用户进行适应性学习，其存在操作复杂度高、成本高等先天缺陷。
为增加xr交互的流畅性及沉浸感，香港光云科技（hksc）于近期推出一项凝聚其多年技术积累的创新性xr交互解决方案——truetof neural gesture。它基于time of flight（tof）传感器信号和深度学习来解析用户的精细手部动作，能够在无需手持外设下实现精准手势控制。
该方案充分发挥信号的优势，具有高精度、低延迟等诸多技术优势，为xr应用提供一种更自然、沉浸的交互体验，同时结合了香港光云科技（hksc）最新的 3d语义理解技术，可以准确识别用户手势信息所表达的行为意图，为各类应用场景提供丰富的用户动作属性标签。例如，在教育领域，学生可以通过手势直观地操控虚拟实验装置；在娱乐领域，游戏玩家能够更自然地与虚拟角色互动；在设计领域，专业人士可以轻松地编辑、调整3d模型等等。相较于传统xr设备的手柄控制器， truetof neural gesture能够为更多用户带来创新的xr体验，使用户能够更加轻松地探索和享受虚拟世界，无需手持的的物理外设，同时降低设备成本。
“training data is technology” openai首席科学家及联合创始人ilye sutskever阐明了精准的训练数据在大模型训练中的重要性。然而在3d空间对手部关节进行精准跟踪，必然需要大量的3d信号数据及其信号空间真值标注。hksc构建了专业3d数据库—truetof 3d 手势基础dataset，包含高质量的tof 3d 信号的raw数据以及高精度的3d标注数据。其中，3d手势超过10,000种，可供训练的案例超过100,000种，据此其开发了高精度3d手势识别方法。与传统数据集相比，truetof手势训练库中的数据具有精准的3d空间信息，尤其是深度z轴上的真值数据。truetof 3d dataset的建立，可以为ai学习提供更加准确、可靠的数据标注，为3d手势识别技术的发展提供有力的支撑。
二、truetof neural gesture
truetof neural gesture是一种基于truetof neural ip底层成像及3d语义技术的高精度3d手势识别方案。它够在三维物理空间中实现用户手部姿态的高精度追踪，增强现实及虚拟现实下的用户交互体验。与传统手势识别技术及行业内主流方案相比，truetof neural gesture具有以下技术优势：
• 高响应：基于信号的直接处理
• 高精度：支持双手21个关节点的<1mm精度跟踪
• 3d准度：精准测量传感器与手部各关键点之间的3d距离
• 角度精度：可扩大手势角度精度范围2倍以上，并提升角度分辨率至0.5°
• 稳定性：在正常光照和低光环境下，手掌检测的稳定性更好
• 可靠性：在户外环境和低光环境下检测及跟踪稳定，可适应不同应用场景
truetof neural gesture在性能方面表现出色，与业界公认的mediapipe等手势识别方案的关键性能指标上对比如下：
关键性能指标对比
truetof neural gesture现已支持多种手势控制：
1. gesture pointer：该手势类似传统的激光指针方式，允许用户用任一手指向并操控虚拟物体。通过truetof技术捕捉手部动作，用户可以轻松地执行这一操作。
2. controller pointer：该手势允许用户用双手以虚拟方式体验传统物理手柄控制器的操作。truetof技术可以识别用户的双手动作，并将其转化为虚拟世界中的控制信号。
3. poke pointer：该手势允许用户用任一手指（缺省为食指）“戳”虚拟物体，进行精确的选择和操作。truetof技术能准确捕捉这类手势，实现细致的交互。
4. grab pointer：该手势允许用户能够用单手抓取和移动虚拟物体，模拟真实世界中的抓取行为。truetof技术捕获手部动作，并实现自然地抓取操作。
通过上述交互式手势响应，truetof neural gesture为用户提供了丰富、自然的xr交互体验，将虚拟世界的操作与现实生活中的行为深度融合。同时，该团队也在不断扩充新的手势定义以及自定义手势的接口，以便用户能以更多丰富且自然个性的方式，与虚拟世界中的物体进行沉浸式交互。
三、truetof neural gesture的特点
truetof neural gesture能够为用户带来一种自由、高精度、低延时的交互体验，源于其技术的多方面优势：
1. 无束缚：truetof neural gesture为ar设备提供物理手柄替代方案，用户可通过自然手势控制数字环境，提高便捷性和实用性。
2. 低功耗：基于qualcomm平台，千次ai推理功耗仅为1.53 mwh，实现高性能手势识别的同时，也可有效延长消费电子产品的使用时间。
3. 高精度：基于ai技术重构的tof成像流程，空间定位误差<1mm，保证xyz三轴<1mm精确度，可为终端应用提供准确交互数据支撑。
4. 3d可度量：truetof neural gesture ai模型基于3d数据库训练，实现手部关节xyz三轴0.5°旋转精度度量，适应第一视角应用场景，可克服传感观测视角约束。
5. 低延时：采用hexagon dsp优化的<12ms的ai推理模型，保障实时交互需求，可应对高速动作和复杂场景。
四、truetof neural gesture benchmark
4.1 暗光测试：
暗光测试是在较暗环境中对手势识别技术的性能进行评估。传统的rgb手势识别方案的性能在这种环境下往往会受到较大影响。得益于优秀的truetof neural ip信号成像能力，truetof neural gesture技术在暗光环境下表现出较高的稳定性，对各类复杂室内光线条件不敏感，这不仅有助于提高手势识别精度，还可增强对光线变化环境下使用的鲁棒性。
truetof neural gesture的不同光照表现
4.2 室外评测：
室外场景的光线条件更加复杂多变，包括强光、阴影等多种不可控因素。truetof neural gesture技术在室外评测中同样表现出较高的稳定性和鲁棒性，能够保证户外环境下的高精度的手势识别需求。
truetof neural gesture室外场景表现
通过暗光测试与室外评测可以看出，truetof neural gesture在不同光照条件下均表现出优越性能，表明其在各种非限定光照条件的应用场景中能够提供鲁棒、高效的手势识别，可为用户带来优质、稳定且流畅的交互体验。
五、应用场景与未来展望
下一步，truetof neural gesture技术将不断优化和创新迭代，努力提升手势估计与识别的适配性及稳定性，同时引入更多ai算法不断提高手部关节识别的精度和语义识别。hksc相信3d语义等技术创新将持续为xr、metaverse、aigc、autonomous driving等更多场景提供基础应用支撑，truetof neural gesture技术也将在更广泛的数字信息领域发挥潜力，为用户带来更加智能、便捷的生活体验。
浅析数据中心制冷系统的节能技术
统一系统脆弱性管理平台：让“网络安全漏洞”无处遁形
【赋能IoT生态系列5之3】智能网管交换机升级方案
艾迈斯半导体收购颜色和光谱传感专家MAZeT， 提升在先进光学传感行业的领先地位
威图正式发布《锂电数字化智能制造发展白皮书》
ToF传感技术让XR交互更自由
凌力尔特推出5uA静态电流DC/DC降压型微型模块稳压器LTM8029
带你了解食品WMS仓储系统的价值
双速电动机实物接线图
智能AGV小车DYP-A02系列解决方案
手机的运行内存6g和8g的区别是什么
电感线圈的分类及特性
五种PCB集成电路装配办法
魅族发布真无线耳机POP2s，号称全面升级，带来高品质的声乐体验
小米6plus什么时候上市?小米6plus最新消息:小米Note2降价至冰点,为的是给小米6让路?然而小米6Plus却要发布了?
TLT507-MQTT通信协议案例
盘点当前主流显示器接口
微软将把即将推出的Windows 10X作为竞争对手来推广
华为OV三足鼎立，占据安卓手机半壁江山！占据市场份额秒杀其他一切安卓机！
视频监控技术发展或将会对企业和市场产生以下三大影响