基于 MediaPipe 的手语接口现对开发者开放
客座博文，发布人：signall | mediapipe 团队
请注意，以下内容中体现的信息、用途及应用完全是 signall 客座作者的观点。
signall sdk：使用 mediapipe 的手语接口现对开发者开放
当 google 发布第一个基于 mediapipe 的设备端手部追踪技术时，它便成为了开发者构建手语识别解决方案应用的基础。google 之后对这个手部跟踪解决方案的进一步更新，将其准确率提升至其他技术所无法达到的水平。
signall 是一家研发手语翻译技术的初创公司，致力于为失聪人士普及手语翻译，让他们能够与听力正常的人群以及计算机进行交流。signall 的产品采用了复杂的多摄像头设置和带有彩色标记的手套，广泛用于美国的通信和教育领域。
虽然手语的复杂性不仅限于手形（还包括面部特征、肢体、语法等），但准确追踪手部确实已经给预处理程序（即计算机视觉）造成了巨大阻碍。mediapipe 为 signall 的解决方案提供了更多可能性，不仅能够免除手套，还可以使用单摄像头设置。signall 已经宣布针对此类型开放首版 sdk，所以开发者现在能够在自己的应用中启用手语输入。
signall
https://www.signall.us/
开放首版 sdk
https://signall.us/sdk
近期，该公司在 app store 上发布了一个互动式教育应用，该应用可以让用户通过即时反馈来练习手语，还能够展现出 sdk 的潜力。
signall 与 mediapipe hands
我们的系统在手语识别方面采用多个数据层，各层数据的抽象性越来越高。低级数据层从 2d 和 3d 摄像头中提取关键的手部、躯体和面部数据。在我们的第一个实现中，此数据层会检测手套的颜色，并创建 3d 手部数据。将其替换为 mediapipe hands（mediapipe pose 和 mediapipe face mesh 作为补充）具有颠覆性的重要意义，因为你不再需要手套或特殊光线来使用我们的系统。
mediapipe hands
https://google.github.io/mediapipe/solutions/hands.html
mediapipe pose
https://google.github.io/mediapipe/solutions/pose.html
mediapipe face mesh
https://google.github.io/mediapipe/solutions/face_mesh.html
如上文所述，我们使用了多个带有深度传感器的摄像头，并在实际中对这些传感器进行了校准。相较于本地摄像头或张量空间，这种方法能够实现更加准确的 3d 世界空间探测，但每个摄像头都需要进行手部特征点检测。摄像头的位置和屏幕方向各不相同，因此可以实现更高的手部可视频率，因为从一个摄像头的角度来看，手部可能会被另外一只手遮挡，但从另一个摄像头的角度来看，可能并不存在遮挡。
接下来的步骤是过滤数据，并进行数据平滑处理，以复制彩色手套标记提供的精确测量值。虽然 signall 的标记与 mediapipe 提供的界标不同，但我们使用了手部模型并根据界标生成彩色标记。因此，新的动作捕捉数据与之前的数据完全兼容。
虽然我们主要关注手部，但我们同时整合了 mediapipe pose 和 mediapipe face mesh。即便在彼此接触，或距离很近的情况下，姿态界标都能提供准确的手部姿态信息。
虽然这两个版本的动作捕捉是兼容的，但工件的性质不同：一种是直接测量各个标记，另一种是根据全局检测的手部模拟标记。因为存在差异，所以我们必须在更高层级对参数进行优化。另一方面，我们仍可以利用我们的大型手语数据库来进行无手套配置。我们可以通过替换低级数据，优化高级数据，以无手套形式测试我们的系统。实现无手套化，对于手语识别技术的全球推广具有重要意义。
使用 mediapipe 框架的 signall 系统
将 mediapipe hands 整合至系统后，我们还希望能够利用 mediapipe 框架在多个平台上提供的自定义和扩容机会。这样我们不仅可以用 python 原型化我们的状态研究方法，而且还可以为 windows、ios、android 甚至 web 提供最终用户解决方案。
由于我们的模块图系统和 mediapipe 的计算图之间具有相似性，现有的处理单元只需稍作修改就可以在这个新框架中重用。尽管如此，扩展平台组还面临着其他挑战，例如在大多数情况下我们只能使用单个 2d 摄像头而不是经过校准的多摄像头系统。
我们开发并使用的模型、算法和技术，主要是为了在 3d 全局世界中处理动作捕捉数据。毫无疑问，从单摄像头设置中提取的数据达不到同样的详细程度。所以我们必须对实现进行一些调整，微调算法并添加一些额外逻辑（例如，动态适应手持摄像头用例导致的空间变化）。幸运的是，mediapipe 框架让我们能够用 c ++ 实现核心处理单元，因此我们仍然可以从先前开发的运行时优化核心解决方案中受益。
为了更好地处理来自单个 2d 源的数据，一些基于 3d 数据训练的高级模型需要重新训练。mediapipe 界标由 3d 坐标定义，因此可以重复使用现有的训练方法和概念。另一方面，2d 信息的提取比三维坐标更为直接也更为稳定，在修改设计训练时需要考虑到这一点。
幸运的是，我们无需为实现此目标而进行全新的数据记录。我们仍然可以使用注释详细的大型视频数据库。预处理的动作捕捉数据可以从我们的记录中提取，并在 3d 世界中解释，从而用来模拟任何虚拟摄像头视图中的手部、骨架或面部界标检测。
在虚拟摄像头视图的数据中，我们同时使用传统的 2d 记录，以足够的比例覆盖界标检测的独特噪点特征。由于大多数此类数据已经提前收集了，所以我们可以专注于尝试最新技术并训练新模型。
总结
在 mediapipe 助力的改进，让 signall 可以更改其模型。除了提供用于手语教学和翻译的多合一产品之外，signall 现在也开始提供面向开发者的 sdk。此 sdk 的功能取决于摄像头的类型和可用的算力。sdk 可以启用的功能包括：
面向开发者的 sdk
https://signall.us/sdk
通过用手语表示联系人的姓名来发起视频通话
通过手语（与语音输入相对应）在导航中添加地址，或在快餐店的信息亭或直通车道中进行点餐。
signall 的使命是让手语能够全方位替代语音，而我们非常高兴看到越来越多的应用实现了此功能。
我们十分期待 mediapipe 未来的更新，这些更新能够帮助我们进一步实现终极目标——让所有人在任何设备上都能使用我们的解决方案。最值得期待的更新是能够建立自定义的 mediapipe 图，并添加我们自己的计算器，从而在 webassembly 技术的辅助下实现基于网络的解决方案，这样网站就能够为失聪访问者提供全新水平的无障碍功能。
tensorflow
受疫情影响刺激面板价格上涨 LCD液晶面板行业将迎来长期拐点
EDA厂商收购动向背后透露的技术趋势
防爆型无线压力变送器的工作原理及设计
AR硬件关键技术，何时能实现全民化
静电消除风机风棒的工作原理
基于 MediaPipe 的手语接口现对开发者开放
安规电容主要参数_安规电容坏了有影响吗
工程师必备的电源适配器设计宝典，低功耗、低成本可兼得！
墨芯：聚焦颠覆性技术创新 争当AI芯片2.0时代全球领跑者
普源DS70304数字示波器技术参数及功能优势详解
射频识别芯片在汽车智能防盗报警装置中的应用
高通物联网最新发布，从入门级到顶级的豪华全家桶，瞄准细分市场
韦尔股份上市三年股价增涨30多倍
FPGA设计之时序约束
如何才能最小化SEPIC转换器的辐射干扰？
要送给LoRa一首《凉凉》？
基于IRS2540的Buck转换器实现高亮度LED驱动器的设计优化
Zytronic 为小屏幕带来多点触控
鸿海科技集团以连续15年名列全台营收第一大企业
恩智浦开始将重点放在FD-SOI技术上，以快速布局智能物联网市场
请注意，以下内容中体现的信息、用途及应用完全是 signall 客座作者的观点。
signall sdk：使用 mediapipe 的手语接口现对开发者开放
当 google 发布第一个基于 mediapipe 的设备端手部追踪技术时，它便成为了开发者构建手语识别解决方案应用的基础。google 之后对这个手部跟踪解决方案的进一步更新，将其准确率提升至其他技术所无法达到的水平。
signall 是一家研发手语翻译技术的初创公司，致力于为失聪人士普及手语翻译，让他们能够与听力正常的人群以及计算机进行交流。signall 的产品采用了复杂的多摄像头设置和带有彩色标记的手套，广泛用于美国的通信和教育领域。
虽然手语的复杂性不仅限于手形（还包括面部特征、肢体、语法等），但准确追踪手部确实已经给预处理程序（即计算机视觉）造成了巨大阻碍。mediapipe 为 signall 的解决方案提供了更多可能性，不仅能够免除手套，还可以使用单摄像头设置。signall 已经宣布针对此类型开放首版 sdk，所以开发者现在能够在自己的应用中启用手语输入。
signall
https://www.signall.us/
开放首版 sdk
https://signall.us/sdk
近期，该公司在 app store 上发布了一个互动式教育应用，该应用可以让用户通过即时反馈来练习手语，还能够展现出 sdk 的潜力。
signall 与 mediapipe hands
我们的系统在手语识别方面采用多个数据层，各层数据的抽象性越来越高。低级数据层从 2d 和 3d 摄像头中提取关键的手部、躯体和面部数据。在我们的第一个实现中，此数据层会检测手套的颜色，并创建 3d 手部数据。将其替换为 mediapipe hands（mediapipe pose 和 mediapipe face mesh 作为补充）具有颠覆性的重要意义，因为你不再需要手套或特殊光线来使用我们的系统。
mediapipe hands
https://google.github.io/mediapipe/solutions/hands.html
mediapipe pose
https://google.github.io/mediapipe/solutions/pose.html
mediapipe face mesh
https://google.github.io/mediapipe/solutions/face_mesh.html
如上文所述，我们使用了多个带有深度传感器的摄像头，并在实际中对这些传感器进行了校准。相较于本地摄像头或张量空间，这种方法能够实现更加准确的 3d 世界空间探测，但每个摄像头都需要进行手部特征点检测。摄像头的位置和屏幕方向各不相同，因此可以实现更高的手部可视频率，因为从一个摄像头的角度来看，手部可能会被另外一只手遮挡，但从另一个摄像头的角度来看，可能并不存在遮挡。
接下来的步骤是过滤数据，并进行数据平滑处理，以复制彩色手套标记提供的精确测量值。虽然 signall 的标记与 mediapipe 提供的界标不同，但我们使用了手部模型并根据界标生成彩色标记。因此，新的动作捕捉数据与之前的数据完全兼容。
虽然我们主要关注手部，但我们同时整合了 mediapipe pose 和 mediapipe face mesh。即便在彼此接触，或距离很近的情况下，姿态界标都能提供准确的手部姿态信息。
虽然这两个版本的动作捕捉是兼容的，但工件的性质不同：一种是直接测量各个标记，另一种是根据全局检测的手部模拟标记。因为存在差异，所以我们必须在更高层级对参数进行优化。另一方面，我们仍可以利用我们的大型手语数据库来进行无手套配置。我们可以通过替换低级数据，优化高级数据，以无手套形式测试我们的系统。实现无手套化，对于手语识别技术的全球推广具有重要意义。
使用 mediapipe 框架的 signall 系统
将 mediapipe hands 整合至系统后，我们还希望能够利用 mediapipe 框架在多个平台上提供的自定义和扩容机会。这样我们不仅可以用 python 原型化我们的状态研究方法，而且还可以为 windows、ios、android 甚至 web 提供最终用户解决方案。
由于我们的模块图系统和 mediapipe 的计算图之间具有相似性，现有的处理单元只需稍作修改就可以在这个新框架中重用。尽管如此，扩展平台组还面临着其他挑战，例如在大多数情况下我们只能使用单个 2d 摄像头而不是经过校准的多摄像头系统。
我们开发并使用的模型、算法和技术，主要是为了在 3d 全局世界中处理动作捕捉数据。毫无疑问，从单摄像头设置中提取的数据达不到同样的详细程度。所以我们必须对实现进行一些调整，微调算法并添加一些额外逻辑（例如，动态适应手持摄像头用例导致的空间变化）。幸运的是，mediapipe 框架让我们能够用 c ++ 实现核心处理单元，因此我们仍然可以从先前开发的运行时优化核心解决方案中受益。
为了更好地处理来自单个 2d 源的数据，一些基于 3d 数据训练的高级模型需要重新训练。mediapipe 界标由 3d 坐标定义，因此可以重复使用现有的训练方法和概念。另一方面，2d 信息的提取比三维坐标更为直接也更为稳定，在修改设计训练时需要考虑到这一点。
幸运的是，我们无需为实现此目标而进行全新的数据记录。我们仍然可以使用注释详细的大型视频数据库。预处理的动作捕捉数据可以从我们的记录中提取，并在 3d 世界中解释，从而用来模拟任何虚拟摄像头视图中的手部、骨架或面部界标检测。
在虚拟摄像头视图的数据中，我们同时使用传统的 2d 记录，以足够的比例覆盖界标检测的独特噪点特征。由于大多数此类数据已经提前收集了，所以我们可以专注于尝试最新技术并训练新模型。
总结
在 mediapipe 助力的改进，让 signall 可以更改其模型。除了提供用于手语教学和翻译的多合一产品之外，signall 现在也开始提供面向开发者的 sdk。此 sdk 的功能取决于摄像头的类型和可用的算力。sdk 可以启用的功能包括：
面向开发者的 sdk
https://signall.us/sdk
通过用手语表示联系人的姓名来发起视频通话
通过手语（与语音输入相对应）在导航中添加地址，或在快餐店的信息亭或直通车道中进行点餐。
signall 的使命是让手语能够全方位替代语音，而我们非常高兴看到越来越多的应用实现了此功能。
我们十分期待 mediapipe 未来的更新，这些更新能够帮助我们进一步实现终极目标——让所有人在任何设备上都能使用我们的解决方案。最值得期待的更新是能够建立自定义的 mediapipe 图，并添加我们自己的计算器，从而在 webassembly 技术的辅助下实现基于网络的解决方案，这样网站就能够为失聪访问者提供全新水平的无障碍功能。
tensorflow
受疫情影响刺激面板价格上涨 LCD液晶面板行业将迎来长期拐点
EDA厂商收购动向背后透露的技术趋势
防爆型无线压力变送器的工作原理及设计
AR硬件关键技术，何时能实现全民化
静电消除风机风棒的工作原理
基于 MediaPipe 的手语接口现对开发者开放
安规电容主要参数_安规电容坏了有影响吗
工程师必备的电源适配器设计宝典，低功耗、低成本可兼得！
墨芯：聚焦颠覆性技术创新 争当AI芯片2.0时代全球领跑者
普源DS70304数字示波器技术参数及功能优势详解
射频识别芯片在汽车智能防盗报警装置中的应用
高通物联网最新发布，从入门级到顶级的豪华全家桶，瞄准细分市场
韦尔股份上市三年股价增涨30多倍
FPGA设计之时序约束
如何才能最小化SEPIC转换器的辐射干扰？
要送给LoRa一首《凉凉》？
基于IRS2540的Buck转换器实现高亮度LED驱动器的设计优化
Zytronic 为小屏幕带来多点触控
鸿海科技集团以连续15年名列全台营收第一大企业
恩智浦开始将重点放在FD-SOI技术上，以快速布局智能物联网市场