mW范围内的机器视觉使物联网端点推理变得实用
物联网端点位于嵌入式视觉的前沿。而且，与其他前沿领域一样，也存在挑战，其中最重要的是电源效率。
机器视觉已经迅速在世界上找到了自己的位置。从树上看到和摘下橙子。注视检测针对危险的无意识驾驶员。在工厂车间内移动的工业机器人依靠它进行安全的障碍物检测。
物联网端点位于嵌入式视觉的前沿。而且，与其他前沿领域一样，也存在挑战，其中最重要的是电源效率。是否可以在不超出节点功率容量的情况下在极端边缘进行推理？
这个问题值得考虑。这是因为在边缘进行推理可以避免不分青红皂白地将数据（其中只有一部分是可操作的）传输到云进行分析。这样可以降低存储成本。此外，访问云会损害延迟并抑制实时功能。传输数据是易受攻击的数据，因此最好进行端点处理。这对于降低支付给网络运营商的成本也是有利的。
全新的 soc 架构方法
然而，对于所有这些好处，一个主要的绊脚石已经存在。使用传统微控制器的设备的功耗限制阻碍了神经网络在极端边缘的推理。
传统的微控制器（mcu）性能无法满足周期密集型操作。方法唤醒解决方案可能依赖于机器视觉进行对象分类，这反过来又需要卷积神经网络 （cnn） 执行矩阵乘法运算，这些运算转化为数百万乘法累加 （mac） 计算（图 1）。
图1.到目前为止，微控制器不具备承担大容量乘法累加（mac）的效率的问题一直是一个绊脚石。
mcu存在各种各样的神经网络。但是，这些未能作为生产就绪型解决方案流行起来，因为所需的性能无法超越电源障碍。
克服功耗-性能困境是为什么采用全新方法处理处理器角色和 soc 架构的解决方案是有意义的。采用这种新方法需要了解 iot 终结点需要处理三个工作负载才能成功推理。一个是程序性的，一个是数字信号处理，一个是执行大量mac操作的。满足每个工作负载独特需求的一种方法是在 soc 中组合一个用于信号处理和机器学习的双 mac 16 位 dsp，以及一个用于程序负载的 arm cortex-m cpu。
这种混合多核架构充分利用了 dsp 双存储器组、零环路开销和复杂地址生成。有了它，可以处理工作负载的任何组合：例如，网络堆栈、rtos、数字滤波器、时频转换、rnn、cnn 以及传统的类似人工智能的搜索、决策树和线性回归。图 2 显示了当 dsp 架构优势发挥作用时，神经网络计算性能如何提高 2 倍甚至 3 倍。
图2.矩阵乘法 （nxn） 基准测试。
仅靠架构更改是不够的
无论是对于嵌入式视觉系统还是依赖于显著提高神经网络效率的任何其他系统，实施混合多核架构都很重要。但是，当目标是将功耗降至mw范围时，必须做更多的工作。认识到这一需求，eta compute获得了连续电压和频率缩放（cvfs）的专利。
cvfs克服了动态电压频率调节（dvfs）遇到的问题。dvfs确实利用了降低功耗的选项，即降低电压。缺点是行使此选项时最大频率会降低。这个问题将dvfs的有效性锁定在一个狭窄的范围内 - 一个由严格限制数量的预定义离散电压电平定义并限制在几百mv的电压范围内。
相比之下，为了在最有效的电压下实现一致的soc操作，cvfs使用自定时逻辑。通过自定时逻辑，每个器件都可以连续自动调整电压和频率。cvfs比dvfs更有效，也比亚阈值设计更容易实施，cvfs在另一个重要方面也与这些不同。关键区别在于，上面提到的混合多核架构使cvfs已经做的好事成倍增加。
处于最前沿的生产级
最边缘的终结点（例如用于人员检测的终结点）具有特定需求。虽然已发布的神经网络可供任何人用于这些物联网端点，但它们并没有优先针对这些需求。使用领先的设计技术优化这些网络可以解决这个问题。
除了使用先进的设计方法外，我们在 eta compute 采用的神经网络优化方法以生产级神经传感器处理器 ecm3532 为中心（图 3）。它融合了混合多核架构和 cvfs 技术的所有优势。
图3.eta compute ecm3532神经传感器处理器的混合多核架构将arm cortex-m3处理器、恩智浦coolflux dsp、512kb闪存、352kbsram和支持外设集成在soc中，可实现mw范围内最边缘的推理。
获得的知识
如图4所示的测试结果显示，为了将深度学习引入嵌入式视觉系统，电力成本不必上升到不可接受的水平。虽然没有一根魔杖可以为高功耗的神经网络供电，但将mcu功耗效率和dsp优势与网络优化相结合的方法可以帮助应用避免仅依赖云计算导致的安全性、延迟和低效率问题。
我国构建全球首个星地量子通信网：跨度 4600 公里，集成 700 余条星地链路
中国移动启动了全球最大的“5G+北斗高精定位”系统
Intel至强W9-3495X和AMD锐龙线程撕裂者PRO 5000WX对比介绍
不畏艰险，勇于挑战|路虎的XR虚拟拍摄之旅
波兰如果不让华为参与5G开发将会导致5G网延迟推出
mW范围内的机器视觉使物联网端点推理变得实用
智能手机商又出新招，开始研发折叠屏手机
厚积薄发，打造消费电子行业盛世展会—CEEASIA2023旧貌换新颜
三星Galaxy Fold重新上架，配置不虚目前旗舰
基于Contourlet变换的稀疏成分分析提高遥感图像信号的分离精度
华数机器人荣获两江新区2022年度品牌发展奖励
LED闪烁灯制作教程
国产芯片麒麟960有多牛？看完就知道了，怒干骁龙821
高速数模转换器的数字特性
5G时代近在咫尺,你应该知道这些事!
华为Mate9Pro怎么样？华为Mate9Pro国产手机的标杆，5大买点不看后悔
稳压二极管主要参数
虚幻引擎及光线追踪带来的启示
英特尔公布五项新技术进展：集成光电、神经拟态计算、量子计算、保密计算、机器编程
iOS圣诞下载排行榜一览：消费者偏好VR体验
机器视觉已经迅速在世界上找到了自己的位置。从树上看到和摘下橙子。注视检测针对危险的无意识驾驶员。在工厂车间内移动的工业机器人依靠它进行安全的障碍物检测。
物联网端点位于嵌入式视觉的前沿。而且，与其他前沿领域一样，也存在挑战，其中最重要的是电源效率。是否可以在不超出节点功率容量的情况下在极端边缘进行推理？
这个问题值得考虑。这是因为在边缘进行推理可以避免不分青红皂白地将数据（其中只有一部分是可操作的）传输到云进行分析。这样可以降低存储成本。此外，访问云会损害延迟并抑制实时功能。传输数据是易受攻击的数据，因此最好进行端点处理。这对于降低支付给网络运营商的成本也是有利的。
全新的 soc 架构方法
然而，对于所有这些好处，一个主要的绊脚石已经存在。使用传统微控制器的设备的功耗限制阻碍了神经网络在极端边缘的推理。
传统的微控制器（mcu）性能无法满足周期密集型操作。方法唤醒解决方案可能依赖于机器视觉进行对象分类，这反过来又需要卷积神经网络 （cnn） 执行矩阵乘法运算，这些运算转化为数百万乘法累加 （mac） 计算（图 1）。
图1.到目前为止，微控制器不具备承担大容量乘法累加（mac）的效率的问题一直是一个绊脚石。
mcu存在各种各样的神经网络。但是，这些未能作为生产就绪型解决方案流行起来，因为所需的性能无法超越电源障碍。
克服功耗-性能困境是为什么采用全新方法处理处理器角色和 soc 架构的解决方案是有意义的。采用这种新方法需要了解 iot 终结点需要处理三个工作负载才能成功推理。一个是程序性的，一个是数字信号处理，一个是执行大量mac操作的。满足每个工作负载独特需求的一种方法是在 soc 中组合一个用于信号处理和机器学习的双 mac 16 位 dsp，以及一个用于程序负载的 arm cortex-m cpu。
这种混合多核架构充分利用了 dsp 双存储器组、零环路开销和复杂地址生成。有了它，可以处理工作负载的任何组合：例如，网络堆栈、rtos、数字滤波器、时频转换、rnn、cnn 以及传统的类似人工智能的搜索、决策树和线性回归。图 2 显示了当 dsp 架构优势发挥作用时，神经网络计算性能如何提高 2 倍甚至 3 倍。
图2.矩阵乘法 （nxn） 基准测试。
仅靠架构更改是不够的
无论是对于嵌入式视觉系统还是依赖于显著提高神经网络效率的任何其他系统，实施混合多核架构都很重要。但是，当目标是将功耗降至mw范围时，必须做更多的工作。认识到这一需求，eta compute获得了连续电压和频率缩放（cvfs）的专利。
cvfs克服了动态电压频率调节（dvfs）遇到的问题。dvfs确实利用了降低功耗的选项，即降低电压。缺点是行使此选项时最大频率会降低。这个问题将dvfs的有效性锁定在一个狭窄的范围内 - 一个由严格限制数量的预定义离散电压电平定义并限制在几百mv的电压范围内。
相比之下，为了在最有效的电压下实现一致的soc操作，cvfs使用自定时逻辑。通过自定时逻辑，每个器件都可以连续自动调整电压和频率。cvfs比dvfs更有效，也比亚阈值设计更容易实施，cvfs在另一个重要方面也与这些不同。关键区别在于，上面提到的混合多核架构使cvfs已经做的好事成倍增加。
处于最前沿的生产级
最边缘的终结点（例如用于人员检测的终结点）具有特定需求。虽然已发布的神经网络可供任何人用于这些物联网端点，但它们并没有优先针对这些需求。使用领先的设计技术优化这些网络可以解决这个问题。
除了使用先进的设计方法外，我们在 eta compute 采用的神经网络优化方法以生产级神经传感器处理器 ecm3532 为中心（图 3）。它融合了混合多核架构和 cvfs 技术的所有优势。
图3.eta compute ecm3532神经传感器处理器的混合多核架构将arm cortex-m3处理器、恩智浦coolflux dsp、512kb闪存、352kbsram和支持外设集成在soc中，可实现mw范围内最边缘的推理。
获得的知识
如图4所示的测试结果显示，为了将深度学习引入嵌入式视觉系统，电力成本不必上升到不可接受的水平。虽然没有一根魔杖可以为高功耗的神经网络供电，但将mcu功耗效率和dsp优势与网络优化相结合的方法可以帮助应用避免仅依赖云计算导致的安全性、延迟和低效率问题。
我国构建全球首个星地量子通信网：跨度 4600 公里，集成 700 余条星地链路
中国移动启动了全球最大的“5G+北斗高精定位”系统
Intel至强W9-3495X和AMD锐龙线程撕裂者PRO 5000WX对比介绍
不畏艰险，勇于挑战|路虎的XR虚拟拍摄之旅
波兰如果不让华为参与5G开发将会导致5G网延迟推出
mW范围内的机器视觉使物联网端点推理变得实用
智能手机商又出新招，开始研发折叠屏手机
厚积薄发，打造消费电子行业盛世展会—CEEASIA2023旧貌换新颜
三星Galaxy Fold重新上架，配置不虚目前旗舰
基于Contourlet变换的稀疏成分分析提高遥感图像信号的分离精度
华数机器人荣获两江新区2022年度品牌发展奖励
LED闪烁灯制作教程
国产芯片麒麟960有多牛？看完就知道了，怒干骁龙821
高速数模转换器的数字特性
5G时代近在咫尺,你应该知道这些事!
华为Mate9Pro怎么样？华为Mate9Pro国产手机的标杆，5大买点不看后悔
稳压二极管主要参数
虚幻引擎及光线追踪带来的启示
英特尔公布五项新技术进展：集成光电、神经拟态计算、量子计算、保密计算、机器编程
iOS圣诞下载排行榜一览：消费者偏好VR体验