深度学习框架大PK
近年来，开发者社区中，「开源」成了新流行趋势。
尤其是深度学习框架，自腾讯2017年将ncnn开源之后，各大ai实验室都「慷慨」的将自己的框架开源，以实现较为快速的创新。
腾讯又宣布基于ncnn设计的深度学习推理框架tnn也将开源。tnn开源后，许多开发者都将其与ncnn，mnn等开源框架作比较。
tnn性能略胜一筹，「剑指」移动端；mnn通用性表现更佳
tnn设计之初一方面是为了提高算力，另一方面强调了对移动设备的支持。不然用户就没必要放弃生态很好的mnn和大家都熟悉的ncnn来使用tnn了。
tnn是基于ncnn开发的，对其进行重构升级。除了算力显著的提升以外，基于tnn开发者还可以将深度学习算法移植到手机端，开发移动端的ai产品。
为了比较mnn，ncnn和tnn的性能，在以下的主流平台做了测试：
可以看到性能方面tnn还是有优势的。但是有些环境下的测试其实和mnn还是不相上下，阿里的开发团队也说，tnn的性能激励了mnn的提高，但相比当年2000ms到700ms的飞越还是差点意思。
tnn性能提升的关键是低精度计算，之前讲的没有办法移植到移动端的本质原因是手机处理器比较薄弱，因此框架适应中低端机是非常重要的。tnn在这方面做的很好，在中低端机上的性能提升约20%。
通用、轻便也是tnn框架的亮点之一，解决了一部分不同框架间的模型转换问题。但是tnn的模型转换需要基于onnx，而不像mnn那样直接支持。操作上只是多了一步，通用性上又大打折扣了。
通用性上mnn的优势也不容置喙，mnn在通用性上下了很大的功夫，你看支持的算子数目就可以知道这算是mnn的一个工作重点。
算子实现上，mnn在计算后端的支持也是最广的。除了arm v8.2，mnn在gpu算子的支持上也远超于其他两个框架。
再讲讲开源的一个重要问题：代码可读性。尽管cpu的代码框架上，tnn和ncnn非常像，但是风格和结构远超ncnn，更加的易读。这点mnn也做得很不错，mnn和tnn在代码各结构上还是有很多相似点。这些相似点让mnn到tnn做代码迁移变的没有那么复杂。
总的来说，ncnn作为2017年第一个开源的框架，非常经典。在tnn和mnn的性能差距不大的情况下，选择哪个框架就属于因人而异的事情，各有各的优势。
从ncnn开始，深度学习框架开源已成大趋势
虽然企鹅最近因为一些花边新闻老是被调侃，但是深度学习框架开源这方面，真的要感谢这个傻白甜鹅在2017年7月开源的ncnn。几乎开启了深度学习框架开源的「热潮」。
在业界各方人士三年不懈努力（内卷）下，vgg16 在 rk3399 上单核心的推理速度从 2000 ms+ 压榨到了 700 ms+。这之中也正是因为开源，才能够集众人智慧，得到如此卓越的性能提升。
ncnn作为元老级别的框架，本身就是为移动平台优化的高性能神经网络推理计算来开发的。从设计之初，ncnn就在手机上进行部署和使用深思熟虑。ncnn当前在许多腾讯应用程序中使用，包括我们熟悉的微信、qq等。
mnn也是具有重大意义的一个开源框架。mnn是一个高效，轻量的深度学习框架。它支持深度模型推理与训练，尤其是在端侧的推理与训练性能在其中领先领先。目前，mnn已经在阿里巴巴的手机淘宝，手机天猫，优酷，钉钉，闲鱼等20个应用中使用。
mnn对于性能的提升有着卓越的贡献，因此也成为开发者的框架首选。
tnn作为2020年鹅厂开源的一款移动端推理框架，具有高性能、轻量级的特点，拥有跨平台、高性能、模型压缩、代码裁剪等众多优势。目前tnn已经在手机qq、微视、p图等应用中落地。
除了这三个主流的框架，还有一些也经常被使用的框架，例如ppl。但是ppl现在还没有开源，可能商汤还是想「有所保留」的。其实ncnn开源的时候ppl就出来说过他们的性能更好，ppl其实也是被开发者们经常使用的框架之一了。
百度开源了一个叫做padle-lite的框架。paddle-mobile是一个开放源代码的深度学习框架，旨在简化在移动，嵌入式和iot设备上的推理。它与paddlepaddle和其他来源的预训练模型兼容。
开源框架甚至有雷总的身影，小米主体业务还是在硬件方面，开源框架确实很稀奇。mace是一个深度学习推理框架，针对android，ios，linux和windows设备上的移动异构计算进行了优化。
中国铁塔将支出300亿资金来满足运营商在4G以及5G试点等项目的需要
智能加速 算力先行 | 坤前计算机闪耀安博会
如何利用I/O设备和PLD芯片实现数字日历的设计？
LiveVideoStackCon2023音视频技术大会上海站，英特尔®AMX带来全链路智能化编码新路径！
特斯拉有望在2022年推出20万元内的电动汽车
深度学习框架大PK
快速图解Zigbee入门指南，选择最适多协议设计方案
iphone7出现了黑屏应该如何解决
ICR技术简介
C语言代码的组合千变万化
内存和固态的颗粒产能进入了供大于求的阶段 价格还会进一步下滑
苹果iOS 16正式版推送，采用率已超iOS 15
松下-丰田汽车电池合资企业选择 Anaqua管理其知识产权和创新
MEC是发挥运营商网络资源优势,构建差异化云网融合体系的关键
2018人工智能与机器人产业生态高峰论坛暨X加速计划开营圆满举办
共享单车车锁气密性防水检测的案例
单片机STCl2C2052AD的比例遥控系统
六大镜头厂积极扩产,镜头市场需求高涨
5G赋能AR，悉见大脑构建空间智能引擎
模拟设计的笔试面试题目
尤其是深度学习框架，自腾讯2017年将ncnn开源之后，各大ai实验室都「慷慨」的将自己的框架开源，以实现较为快速的创新。
腾讯又宣布基于ncnn设计的深度学习推理框架tnn也将开源。tnn开源后，许多开发者都将其与ncnn，mnn等开源框架作比较。
tnn性能略胜一筹，「剑指」移动端；mnn通用性表现更佳
tnn设计之初一方面是为了提高算力，另一方面强调了对移动设备的支持。不然用户就没必要放弃生态很好的mnn和大家都熟悉的ncnn来使用tnn了。
tnn是基于ncnn开发的，对其进行重构升级。除了算力显著的提升以外，基于tnn开发者还可以将深度学习算法移植到手机端，开发移动端的ai产品。
为了比较mnn，ncnn和tnn的性能，在以下的主流平台做了测试：
可以看到性能方面tnn还是有优势的。但是有些环境下的测试其实和mnn还是不相上下，阿里的开发团队也说，tnn的性能激励了mnn的提高，但相比当年2000ms到700ms的飞越还是差点意思。
tnn性能提升的关键是低精度计算，之前讲的没有办法移植到移动端的本质原因是手机处理器比较薄弱，因此框架适应中低端机是非常重要的。tnn在这方面做的很好，在中低端机上的性能提升约20%。
通用、轻便也是tnn框架的亮点之一，解决了一部分不同框架间的模型转换问题。但是tnn的模型转换需要基于onnx，而不像mnn那样直接支持。操作上只是多了一步，通用性上又大打折扣了。
通用性上mnn的优势也不容置喙，mnn在通用性上下了很大的功夫，你看支持的算子数目就可以知道这算是mnn的一个工作重点。
算子实现上，mnn在计算后端的支持也是最广的。除了arm v8.2，mnn在gpu算子的支持上也远超于其他两个框架。
再讲讲开源的一个重要问题：代码可读性。尽管cpu的代码框架上，tnn和ncnn非常像，但是风格和结构远超ncnn，更加的易读。这点mnn也做得很不错，mnn和tnn在代码各结构上还是有很多相似点。这些相似点让mnn到tnn做代码迁移变的没有那么复杂。
总的来说，ncnn作为2017年第一个开源的框架，非常经典。在tnn和mnn的性能差距不大的情况下，选择哪个框架就属于因人而异的事情，各有各的优势。
从ncnn开始，深度学习框架开源已成大趋势
虽然企鹅最近因为一些花边新闻老是被调侃，但是深度学习框架开源这方面，真的要感谢这个傻白甜鹅在2017年7月开源的ncnn。几乎开启了深度学习框架开源的「热潮」。
在业界各方人士三年不懈努力（内卷）下，vgg16 在 rk3399 上单核心的推理速度从 2000 ms+ 压榨到了 700 ms+。这之中也正是因为开源，才能够集众人智慧，得到如此卓越的性能提升。
ncnn作为元老级别的框架，本身就是为移动平台优化的高性能神经网络推理计算来开发的。从设计之初，ncnn就在手机上进行部署和使用深思熟虑。ncnn当前在许多腾讯应用程序中使用，包括我们熟悉的微信、qq等。
mnn也是具有重大意义的一个开源框架。mnn是一个高效，轻量的深度学习框架。它支持深度模型推理与训练，尤其是在端侧的推理与训练性能在其中领先领先。目前，mnn已经在阿里巴巴的手机淘宝，手机天猫，优酷，钉钉，闲鱼等20个应用中使用。
mnn对于性能的提升有着卓越的贡献，因此也成为开发者的框架首选。
tnn作为2020年鹅厂开源的一款移动端推理框架，具有高性能、轻量级的特点，拥有跨平台、高性能、模型压缩、代码裁剪等众多优势。目前tnn已经在手机qq、微视、p图等应用中落地。
除了这三个主流的框架，还有一些也经常被使用的框架，例如ppl。但是ppl现在还没有开源，可能商汤还是想「有所保留」的。其实ncnn开源的时候ppl就出来说过他们的性能更好，ppl其实也是被开发者们经常使用的框架之一了。
百度开源了一个叫做padle-lite的框架。paddle-mobile是一个开放源代码的深度学习框架，旨在简化在移动，嵌入式和iot设备上的推理。它与paddlepaddle和其他来源的预训练模型兼容。
开源框架甚至有雷总的身影，小米主体业务还是在硬件方面，开源框架确实很稀奇。mace是一个深度学习推理框架，针对android，ios，linux和windows设备上的移动异构计算进行了优化。
中国铁塔将支出300亿资金来满足运营商在4G以及5G试点等项目的需要
智能加速 算力先行 | 坤前计算机闪耀安博会
如何利用I/O设备和PLD芯片实现数字日历的设计？
LiveVideoStackCon2023音视频技术大会上海站，英特尔®AMX带来全链路智能化编码新路径！
特斯拉有望在2022年推出20万元内的电动汽车
深度学习框架大PK
快速图解Zigbee入门指南，选择最适多协议设计方案
iphone7出现了黑屏应该如何解决
ICR技术简介
C语言代码的组合千变万化
内存和固态的颗粒产能进入了供大于求的阶段 价格还会进一步下滑
苹果iOS 16正式版推送，采用率已超iOS 15
松下-丰田汽车电池合资企业选择 Anaqua管理其知识产权和创新
MEC是发挥运营商网络资源优势,构建差异化云网融合体系的关键
2018人工智能与机器人产业生态高峰论坛暨X加速计划开营圆满举办
共享单车车锁气密性防水检测的案例
单片机STCl2C2052AD的比例遥控系统
六大镜头厂积极扩产,镜头市场需求高涨
5G赋能AR，悉见大脑构建空间智能引擎
模拟设计的笔试面试题目