学技术 | 浅谈MediaTek NeuroPilot.
在开始介绍mediatek neuropilot之前，我想先帮各位伙伴们科普一下什么是edge ai。
许多人工智慧仍远在云端，且可能无法如你所愿，快速地传送到达终端。伙伴们也许会思考，为什么不让人工智慧离你近些呢？
mtk将人工智慧技术应用到你周边的终端装置，充分地实现终端人工智慧，这意味着伙伴们无需等待，也无需上网，就能立即享受到人工智慧。
使用上可以得到更快速地响应、更好的隐私保护、更多的功能。
faster response
better privacy
more functionality
然而，为了优化终端人工智慧，mediatek为神经网络运算，设计了一个全新的人工智慧处理单元apu，和cpu相比，它可以节省高达95%的电力（save 95% energy consumption），让你能有更多的时间处理更多任务
mtk还建立了一个创新的异构运算构架（heterogeneous computing），能即时导引正确的任务到正确的位置，让每个处理器都能发挥最佳性能和最大化的能源效率，这就是mtk的终端人工智慧平台–neuropilot
neuropilot支持业界所有主流的人工智慧构架如下列所示。
google: tensorflow/tensorflow lite
amazon: mxnet
caffe
sony: nnabla
other nn frameworks
如果伙伴们是开发人员，只要开发一次，便可应用neuropilot到任何可支持的终端装置。
cross product
cross operating system
android / linux / rtos / others
neuropilot大致可分为三个层级，如下图所示，最顶层是各种应用程序，也是我们日常就能接触的一些应用，像是一些脸部识别、面部美化、场景检测、手势检测、语音识别等等。
中间层用于程序编写和异构运算，主要由软件算法所构置的，包括神经网络运行（nn runtime），异构运行（heterogeneous runtime）。
这些基于个别级别的api进行程序编写的框架，我们称之为ai framewrok，像google的tensorflow（lite）、caffe、amazon的mxnet、sony的nnabla等。
联发科技的neuropilot支持市面上主流且常用的所有ai framework，意思就是说，我们的伙伴们就能够很方便地在neuropilot平台上进行程序开发，同时也能够很好地与云端对接。
再来最底层是各种硬件处理器cpu、gpu、apu。
一般情况下，我们在处理这个model太大，然后想要把它缩小，做优化来讲，有几个大家比较常用的手法。
我先讲一下什么是优化，优化工具主要专注的地方是在training那个阶段。会把训练好的model来做优化。伙伴们可能会想，为什么要在training好的model来做优化呢？
这是因为我们很多ai model在训练好的时候，其实占用很大的容量，动不动就几百兆字节。这样大小的model放在设备端来执行的话，可以想象，第一个跑起来会很慢，第二个是非常的耗电。所以我们会用一些手法来做一些优化，让这个model变比较小，比较适合在设备端来执行。
第一个手法是有些model本身就比较小，如下列图标，而它的准确度，不会因为他model小就被影响，例如像是我们看到mobilenet、squeezenet和shufflenet，这几种来执行。
或是我们可以使用程序的方式去探索硬件，知道这个硬件适合什么样的model在什么样的硬件上会跑比较快，这种方法叫做nas，neuron architecture search，这个手法，直接用程序去跑，看找什么样的model比较适合的。
另外底下三个手法，它就是用程序，去达成让model缩小，首先是quantization，或是中文我们叫做量化，这样的手法其实是去改变我们原本model的储存数字和参数。
把它从floating point这种比较大的格式，转换成integer这种比较小的格式。你可以想象，转换变小之后，它的model也会跟着转换缩小，缩小之后，这个model就可以在设备端，跑起来比较快，比较省电。
第四个方法，这边写到是network reduction，或者是我们在软件上称做pruning，中文可能会叫做剪枝，这个手法我们可以想像它是一个model压缩的技术，它可以把一个比较大的model，压缩成一个比较小的model。
另外也有人用另一个方法，它把一个大的model，然后再用一个小的model去学这个大的model，就是用原本training完大的model，用小model去学它，然后最后在设备端上来执行，这是叫做distilling的手法。
关于neuropilot基本的介绍就到此，有兴趣的伙伴们，可以随时与我们探讨和研究，谢谢。
关于高功率SMPS拓扑的“首选MOSFET”的性能分析和应用
国芯思辰｜可pin to pin替代赛普拉斯铁电存储器FM25V01-G，内存128Kb
芯片破壁者（4）：兵戈未息的DRAM战场
最适合企业的 7 个开源 Web 服务器
RS Components携手树莓派创始人开启中国之旅
学技术 | 浅谈MediaTek NeuroPilot.
常见的几款余氯仪测量原理
新iPhone或采用三星Note10同款OLED屏幕
华为首家海外工厂将在法国落成
英伟达未来营收最大影响因素：先进封装产能有限
二氧化碳检测仪使用注意事项
用于电气/电子系统开发的商业或内部工具
更小巧、更智能、更可靠的电源管理
震有助力国家能源集团实现统一调度
基于ARM和FPGA的微加速度计数据采集系统设计
掉漆/刮花/坏点 iPhone5质量问题大曝光
数字法币和稳定币有哪一些误区
5G新空口，高通无论在5G还是物联网领域，都有着深厚的积累
超5类、6类、超6类网络水晶头有什么区别?如何辨别呢?
不科学的iOS12 苹果如何让它在iPhone上跑得更快
许多人工智慧仍远在云端，且可能无法如你所愿，快速地传送到达终端。伙伴们也许会思考，为什么不让人工智慧离你近些呢？
mtk将人工智慧技术应用到你周边的终端装置，充分地实现终端人工智慧，这意味着伙伴们无需等待，也无需上网，就能立即享受到人工智慧。
使用上可以得到更快速地响应、更好的隐私保护、更多的功能。
faster response
better privacy
more functionality
然而，为了优化终端人工智慧，mediatek为神经网络运算，设计了一个全新的人工智慧处理单元apu，和cpu相比，它可以节省高达95%的电力（save 95% energy consumption），让你能有更多的时间处理更多任务
mtk还建立了一个创新的异构运算构架（heterogeneous computing），能即时导引正确的任务到正确的位置，让每个处理器都能发挥最佳性能和最大化的能源效率，这就是mtk的终端人工智慧平台–neuropilot
neuropilot支持业界所有主流的人工智慧构架如下列所示。
google: tensorflow/tensorflow lite
amazon: mxnet
caffe
sony: nnabla
other nn frameworks
如果伙伴们是开发人员，只要开发一次，便可应用neuropilot到任何可支持的终端装置。
cross product
cross operating system
android / linux / rtos / others
neuropilot大致可分为三个层级，如下图所示，最顶层是各种应用程序，也是我们日常就能接触的一些应用，像是一些脸部识别、面部美化、场景检测、手势检测、语音识别等等。
中间层用于程序编写和异构运算，主要由软件算法所构置的，包括神经网络运行（nn runtime），异构运行（heterogeneous runtime）。
这些基于个别级别的api进行程序编写的框架，我们称之为ai framewrok，像google的tensorflow（lite）、caffe、amazon的mxnet、sony的nnabla等。
联发科技的neuropilot支持市面上主流且常用的所有ai framework，意思就是说，我们的伙伴们就能够很方便地在neuropilot平台上进行程序开发，同时也能够很好地与云端对接。
再来最底层是各种硬件处理器cpu、gpu、apu。
一般情况下，我们在处理这个model太大，然后想要把它缩小，做优化来讲，有几个大家比较常用的手法。
我先讲一下什么是优化，优化工具主要专注的地方是在training那个阶段。会把训练好的model来做优化。伙伴们可能会想，为什么要在training好的model来做优化呢？
这是因为我们很多ai model在训练好的时候，其实占用很大的容量，动不动就几百兆字节。这样大小的model放在设备端来执行的话，可以想象，第一个跑起来会很慢，第二个是非常的耗电。所以我们会用一些手法来做一些优化，让这个model变比较小，比较适合在设备端来执行。
第一个手法是有些model本身就比较小，如下列图标，而它的准确度，不会因为他model小就被影响，例如像是我们看到mobilenet、squeezenet和shufflenet，这几种来执行。
或是我们可以使用程序的方式去探索硬件，知道这个硬件适合什么样的model在什么样的硬件上会跑比较快，这种方法叫做nas，neuron architecture search，这个手法，直接用程序去跑，看找什么样的model比较适合的。
另外底下三个手法，它就是用程序，去达成让model缩小，首先是quantization，或是中文我们叫做量化，这样的手法其实是去改变我们原本model的储存数字和参数。
把它从floating point这种比较大的格式，转换成integer这种比较小的格式。你可以想象，转换变小之后，它的model也会跟着转换缩小，缩小之后，这个model就可以在设备端，跑起来比较快，比较省电。
第四个方法，这边写到是network reduction，或者是我们在软件上称做pruning，中文可能会叫做剪枝，这个手法我们可以想像它是一个model压缩的技术，它可以把一个比较大的model，压缩成一个比较小的model。
另外也有人用另一个方法，它把一个大的model，然后再用一个小的model去学这个大的model，就是用原本training完大的model，用小model去学它，然后最后在设备端上来执行，这是叫做distilling的手法。
关于neuropilot基本的介绍就到此，有兴趣的伙伴们，可以随时与我们探讨和研究，谢谢。
关于高功率SMPS拓扑的“首选MOSFET”的性能分析和应用
国芯思辰｜可pin to pin替代赛普拉斯铁电存储器FM25V01-G，内存128Kb
芯片破壁者（4）：兵戈未息的DRAM战场
最适合企业的 7 个开源 Web 服务器
RS Components携手树莓派创始人开启中国之旅
学技术 | 浅谈MediaTek NeuroPilot.
常见的几款余氯仪测量原理
新iPhone或采用三星Note10同款OLED屏幕
华为首家海外工厂将在法国落成
英伟达未来营收最大影响因素：先进封装产能有限
二氧化碳检测仪使用注意事项
用于电气/电子系统开发的商业或内部工具
更小巧、更智能、更可靠的电源管理
震有助力国家能源集团实现统一调度
基于ARM和FPGA的微加速度计数据采集系统设计
掉漆/刮花/坏点 iPhone5质量问题大曝光
数字法币和稳定币有哪一些误区
5G新空口，高通无论在5G还是物联网领域，都有着深厚的积累
超5类、6类、超6类网络水晶头有什么区别?如何辨别呢?
不科学的iOS12 苹果如何让它在iPhone上跑得更快