Tengine是什么？最好用的Arm嵌入式系统AI框架是它吗？
边缘ai应用正处于大规模落地的前夕，巨大的iot市场和革命性的ai技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署ai应用的瓶颈都有哪些？
●有人有现成的芯片和应用场景，却为缺乏算法和平台苦恼。
●有人有自己的算法，却为缺乏一个好用的嵌入式跨平台框架而苦恼。
●有人有自己的算法和硬件平台，却为嵌入式平台有限算力苦恼。
open ai lab看到了业界痛点，顺应市场需求推出了专为嵌入式平台设计的ai推理框架——tengine。
专门针对arm嵌入式设备优化的神经网络推理引擎
open ai lab于2016年12月成立，由arm中国联合产业伙伴发起，致力于推动芯片、硬件、算法、软件整个产业链的深度合作，加速人工智能产业化应用部署和应用场景边界拓展。tengine便是一款轻量级模块化高性能的神经网络推理引擎，专门针对arm嵌入式设备优化。完美支持arm平台，支持arm cortex cpu，arm mali gpu，arm dla，第三方dsp，堪称兼容“全能王”。
而开发者可以使用tengine一网打尽主流框架模型和嵌入式操作系统，还能异构调度平台里的各类硬件，充分利用硬件算力。此外，tengine还提供了常见ai应用算法，包括图像检测，人脸识别，语音识别等。不懂ai没关系，上手就能跑ai应用。tengine同时还支持各类常见卷积神经网络，包括squeezenet，mobilenet，alexnet，resnet等，支持层融合、8位量化等优化策略。并且通过调用针对不同cpu微构架优化的hcl库，将arm cpu的性能充分挖掘出来。
tengine的“发动机”——hcl计算库
有人说ncnn是一个为手机端极致优化的高性能神经网络前向计算框架，从设计之初深刻考虑手机端的部署和使用。在过去，ncnn确实是这样的，只是那时候还没有tengine。
现在，hcl计算库作为tengine的插件，是性能最快的arm cpu nn计算库，并且支持动态8位量化计算，精度几乎不变，相比于ncnn最快能带来2-3倍的性能提升，内存使用减少为三分之一。
*tengine性能数据a72，a53性能基于rk3399平台测试，a17性能基于rk3288平台测试
ncnn数据为2018年9月7日
hcl int8量化计算精度变化
*采用ilsvrc2012_val数据集测试5000张图片得到量化精度测试结果如下
tengine + hcl，不同人群的量身定制
tengine作为ai 应用框架，不仅对上层应用提供推理api接口，支持主流模型与格式，还在下层定义硬件接口，适配嵌入式平台各类计算模块，此外支持同时运行多个ai应用算法以及调用多个计算模块计算。因此，tengine的面世对ai开源生态具有里程碑的意义。有了tengine，应用和算法厂商可以摆脱复杂的嵌入式平台适配工作，配合hcl直接挖掘硬件的全部潜能;有了tengine，芯片厂能够站在arm 嵌入式ai生态的肩膀上，以最快的速度顺利将芯片推向市场，在边缘ai应用中部署。作为open ai lab为边缘ai应用部署开发的两大利器，tengine + hcl将助力嵌入式人工智能产业加速向前推进，为最终实现万物智能贡献力量。
红外热成像技术在气象监测中的应用
浪潮推出的极致设计AI服务器产品,你知道哪些?
针对英特尔，博通、微软、谷歌他们做了什么
嵌入式系统在光伏监控系统中的应用
IT业务员的基本素养
Tengine是什么？最好用的Arm嵌入式系统AI框架是它吗？
2017款长安欧尚尊贵型,面子里子全都有,家用车的最佳选择,买车要慎重选择哦！
全志Tina Linux下busybox init简介
国芯思辰｜中科阿尔法霍尔电流传感器AH911用于温控器电流检测，可实现过流保护功能
华为鸿蒙有望下月规模化推送_流畅度和动画效果大有提升
机构预计特斯拉今年所交付电动汽车Model 3和Model Y所占的比重超90%
世界准备好进行量子计算了吗
Java程序员面试失败的五大原因
基于模糊理论的PLC锅炉水位控制器
华为的sco unix培训教材
阿普奇正式推出了新国货旗舰机--IPC400 Series
苹果iOS10.2好评“稳定性又回来了”IOS10.2.1公测版为修复BUG？
华为与澳大利亚开撕：澳政府禁止华为参与5G网络竞标
电源浪涌保护器如何才能稳定可靠地工作
新能源行业SCARA工业机器人各种新品的性能和特点分析
●有人有现成的芯片和应用场景，却为缺乏算法和平台苦恼。
●有人有自己的算法，却为缺乏一个好用的嵌入式跨平台框架而苦恼。
●有人有自己的算法和硬件平台，却为嵌入式平台有限算力苦恼。
open ai lab看到了业界痛点，顺应市场需求推出了专为嵌入式平台设计的ai推理框架——tengine。
专门针对arm嵌入式设备优化的神经网络推理引擎
open ai lab于2016年12月成立，由arm中国联合产业伙伴发起，致力于推动芯片、硬件、算法、软件整个产业链的深度合作，加速人工智能产业化应用部署和应用场景边界拓展。tengine便是一款轻量级模块化高性能的神经网络推理引擎，专门针对arm嵌入式设备优化。完美支持arm平台，支持arm cortex cpu，arm mali gpu，arm dla，第三方dsp，堪称兼容“全能王”。
而开发者可以使用tengine一网打尽主流框架模型和嵌入式操作系统，还能异构调度平台里的各类硬件，充分利用硬件算力。此外，tengine还提供了常见ai应用算法，包括图像检测，人脸识别，语音识别等。不懂ai没关系，上手就能跑ai应用。tengine同时还支持各类常见卷积神经网络，包括squeezenet，mobilenet，alexnet，resnet等，支持层融合、8位量化等优化策略。并且通过调用针对不同cpu微构架优化的hcl库，将arm cpu的性能充分挖掘出来。
tengine的“发动机”——hcl计算库
有人说ncnn是一个为手机端极致优化的高性能神经网络前向计算框架，从设计之初深刻考虑手机端的部署和使用。在过去，ncnn确实是这样的，只是那时候还没有tengine。
现在，hcl计算库作为tengine的插件，是性能最快的arm cpu nn计算库，并且支持动态8位量化计算，精度几乎不变，相比于ncnn最快能带来2-3倍的性能提升，内存使用减少为三分之一。
*tengine性能数据a72，a53性能基于rk3399平台测试，a17性能基于rk3288平台测试
ncnn数据为2018年9月7日
hcl int8量化计算精度变化
*采用ilsvrc2012_val数据集测试5000张图片得到量化精度测试结果如下
tengine + hcl，不同人群的量身定制
tengine作为ai 应用框架，不仅对上层应用提供推理api接口，支持主流模型与格式，还在下层定义硬件接口，适配嵌入式平台各类计算模块，此外支持同时运行多个ai应用算法以及调用多个计算模块计算。因此，tengine的面世对ai开源生态具有里程碑的意义。有了tengine，应用和算法厂商可以摆脱复杂的嵌入式平台适配工作，配合hcl直接挖掘硬件的全部潜能;有了tengine，芯片厂能够站在arm 嵌入式ai生态的肩膀上，以最快的速度顺利将芯片推向市场，在边缘ai应用中部署。作为open ai lab为边缘ai应用部署开发的两大利器，tengine + hcl将助力嵌入式人工智能产业加速向前推进，为最终实现万物智能贡献力量。
红外热成像技术在气象监测中的应用
浪潮推出的极致设计AI服务器产品,你知道哪些?
针对英特尔，博通、微软、谷歌他们做了什么
嵌入式系统在光伏监控系统中的应用
IT业务员的基本素养
Tengine是什么？最好用的Arm嵌入式系统AI框架是它吗？
2017款长安欧尚尊贵型,面子里子全都有,家用车的最佳选择,买车要慎重选择哦！
全志Tina Linux下busybox init简介
国芯思辰｜中科阿尔法霍尔电流传感器AH911用于温控器电流检测，可实现过流保护功能
华为鸿蒙有望下月规模化推送_流畅度和动画效果大有提升
机构预计特斯拉今年所交付电动汽车Model 3和Model Y所占的比重超90%
世界准备好进行量子计算了吗
Java程序员面试失败的五大原因
基于模糊理论的PLC锅炉水位控制器
华为的sco unix培训教材
阿普奇正式推出了新国货旗舰机--IPC400 Series
苹果iOS10.2好评“稳定性又回来了”IOS10.2.1公测版为修复BUG？
华为与澳大利亚开撕：澳政府禁止华为参与5G网络竞标
电源浪涌保护器如何才能稳定可靠地工作
新能源行业SCARA工业机器人各种新品的性能和特点分析