DNN究竟对AI的发展有没有什么帮助
随着基于超级网络的nas出现，nas的成本已经在下降。因此，现在可能是时候让硬件供货商开始寻找自己的优化dnn。当被问及deepscale是否计划透过合作、授权或为ai硬件公司开发优化dnn来填补这一缺口时，iandola说，“我们还没有真正考虑过这个问题。”
为了让ai加速器在最短延迟内达到最佳精准度，特别是在自动驾驶车中，tflop已经成为许多所谓大脑芯片的关键指针，然而，有专家认为这种野蛮处理方式并不可持续……
为了让人工智能（ai）加速器在最短延迟内达到最佳精准度，特别是在自动驾驶车（av）中，tflop（兆次浮点运算）已经成为许多所谓大脑芯片的关键指针。这场竞赛的选手包括nvidia的xavier、mobileye的eyeq5、特斯拉（tesla）的全自动驾驶（fsd）计算机芯片，以及nxp-kalray芯片。
然而，有专家认为这种野蛮处理方式并不可持续。在ee times的一次独家专访中，deepscale执行长forrest iandola提出其不可持续的理由，是因为ai硬件设计师所持有的许多常见假设已经过时。随着ai应用日益增多，ai供货商从中积累更多的经验，这导致不同的ai任务开始需求不同的技术方法。如果事实的确如此，ai使用者购买ai技术的方式将会改变，供货商也必将做出回应。
deepscale执行长forrest iandola
iandola表示，就拿神经网络架构搜寻（nas）为例，其快速发展不仅加快优化深度神经网络（dnn）的搜寻过程，并降低这一过程的成本。他相信有一种方法可以“在目标任务和目标运算平台上建立最低延迟、最高精准度的dnn，”而不是依赖于更大的芯片来处理所有的ai任务。
iandola设想未来ai芯片或传感器系统（如计算机视觉、雷达或光达）供货商不仅提供硬件，而且还会提供自己的高速、高效的dnn——为应用而设计的dnn架构。任何供货商都会为不同的运算平台匹配各自所需的dnn，如果事实真是如此，那ai竞赛中的所有赌注都将失效。
需要明确的是，目前无论是芯片公司还是传感器供货商都没有提出上述前景。甚至很少有人在特定硬件上运作有针对性ai任务的可能性。
iandola及其deepscale团队最近设计了一系列dnn模型，称为“squeezenas”。在最近的一篇报告中，他们声称，当在目标平台上搜寻延迟时，squeezenas“可以建立更快、更准确的模型”。这篇报告推翻了ai小区先前对nas、乘积累加（mac）运算和将imagenet精确度应用于目标任务时所做的一些假设。
deepscale于2015年由iandola和kurt keutzer教授共同创立，是一家位于加州山景城的新创公司，致力于开发“微型dnn”。两位联合创始人曾在加州大学柏克莱大学分校共事，deepscale因其快速高效的dnn研究而在科学界备受推崇。
手工设计（manual designs）
要想真正理解机器学习在计算机视觉方面的最新进展的意义，需要了解其发展历史。
还记得alexnet网络结构模型在2012年赢得imagenet影像分类竞赛吗？这为研究人员打开了竞争的大门，让他们专注于imagenet研究，并寻找能够在计算机视觉任务上达到最高精准度的dnn，以此开展竞争。
imagenet分类错误统计。（数据源：researchgate）
通常，这些计算机视觉研究人员依靠专家工程师，他们会手工设计快速且高精准度的dnn架构。
从2012年到2016年，他们提高了计算机视觉的准确性，但都是透过大幅增加执行dnn所需资源来实现这一目标。iandola解释，例如，赢得2014年imagenet比赛冠军的vggnet，其使用的运算量是alexnet的10倍，参数是alexnet的2倍。
到2016年，学术研究界发现利用增加dnn的资源需求来提高准确性“不可持续”。squeezenet便是研究人员寻找的众多替代方案之一，由iandola及其同事在2016年发表，它展示出在微小预算（低于5mb）参数下imagenet的“合理的准确性”。
squeezenet引发了两个重大变化。相对于squeezenet和其他早期运算而言，mobilenetv1能够大幅度减少mac的数量，shufflenetv1是为行动端cpu实现低延迟而优化的dnn。
利用机器学习改善机器学习
如前所述，所有这些先进dnn都是透过手工设计和调整神经网络架构开发而成。由于手工流程需要专业的工程师大量的除错，这很快就成为一个成本太高、耗时太久的提议。
因而基于机器学习，实现人工神经网络设计自动化的理念，nas应运而生。nas是一种搜寻最佳神经网络架构的算法，并改变了ai格局。iandola称，“到2018年，nas已经开始构建能够以较低延迟运行的dnn，并且比以前手工设计的dnn产生更高的准确性。”
强化学习（reinforcement learning）
随后，计算机视觉界开始使用基于机器学习的强化方法——强化学习。换句话说，“机器学习得到回馈来改善机器学习，”iandola解释。在基于强化学习的nas下，未经训练的强化学习获得建议，指定层数和参数来训练dnn架构。一旦对dnn进行训练，训练运作的结果将作为回馈，从而推动强化学习执行更多dnn来展开训练。
经证明，基于强化学习的nas是有效的。google mnasnet就是一个很好的例子，它在imagenet延迟和准确性方面都优于shufflenet。但它也有一个关键的弱点：成本太高。基于强化学习的搜寻通常需要数千个gpu天（gpu day），以训练数百乃至数千个不同的dnn，才能生成理想的设计。“google负担得起，”iandola表示，但大多数其他公司负担不起。
现实地说，一个基于强化学习的nas要训练一千个dnn，每个dnn通常需要一个gpu天。考虑到目前亚马逊（amazon）云端服务平台的价格，iandola估计，一个使用基于强化学习的nas搜寻所花费的云端运算时间可能耗资高达7万美元。
超级网络（supernetwork）
在这种情况下，去年底出现了一种新的nas类型，称为基于“超级网络”的搜寻。它的典型代表包括fbnet（facebook柏克莱网络）和squeeznet。
搜寻时间减少100倍。（数据源：deepscale）
iandola解释：“超级网络采用一步到位的方法，而不是培训1，000个独立的dnn。”例如，一个dnn有20个模块，每个模块有13个选项。若为每个模块选择一个最喜欢的选项，“你正在以10个dnn训练运作花费为代价，一次性训练一个汇集了千兆种dnn设计的dnn，”iandola解释。
结果显示，基于超级网络的nas可以在10个gpu天的搜寻时间内建立dnn，其延迟和准确性优于mnasnet。“这让搜寻成本从7万多美元减少到大约700美元的亚马逊云端服务gpu时间，”iandola说。
“10个gpu天”的搜寻时间相当于在一台如衣柜般大小的8 gpu机器上花费一天的时间，”iandola解释。
怎样用Arduino从LDR读取模拟值
新型高效抗反射金属材料实现激光解吸附离子化质谱分析
中控智慧科技考勤机新iClock360介绍
世界上第一台能够像植物卷须一样卷曲和攀爬的软机器人问世
RS485接口电路原理图
DNN究竟对AI的发展有没有什么帮助
噪声有“温度”吗？答案有些意外
小米6使用全屏？小米6搭载骁龙835，6+64G内存！
三雄极光照亮贵阳生态地铁
恩智浦新一代毫米波雷达开发平台，L2+级及更高级别自动驾驶开发必备！
什么蓝牙耳机好，性价比高的四款蓝牙耳机测评
全能型农药残留检测仪的相关性能描述
浅谈电力系统中变压器提高抗短路能力的措施
脉搏测量的结构组成与工作原理介绍
华为旗舰机P30 Pro到底值不值得购买
详解比特币的原理及运作机制
风河实时操作系统最新版本即将上市
Pico示波器2204A的性能特点及应用解决方案分析
工厂的数字化转型离不开坚实的IT基建和数据基础
Horizontal Pod Autoscaler的工作原理
为了让ai加速器在最短延迟内达到最佳精准度，特别是在自动驾驶车中，tflop已经成为许多所谓大脑芯片的关键指针，然而，有专家认为这种野蛮处理方式并不可持续……
为了让人工智能（ai）加速器在最短延迟内达到最佳精准度，特别是在自动驾驶车（av）中，tflop（兆次浮点运算）已经成为许多所谓大脑芯片的关键指针。这场竞赛的选手包括nvidia的xavier、mobileye的eyeq5、特斯拉（tesla）的全自动驾驶（fsd）计算机芯片，以及nxp-kalray芯片。
然而，有专家认为这种野蛮处理方式并不可持续。在ee times的一次独家专访中，deepscale执行长forrest iandola提出其不可持续的理由，是因为ai硬件设计师所持有的许多常见假设已经过时。随着ai应用日益增多，ai供货商从中积累更多的经验，这导致不同的ai任务开始需求不同的技术方法。如果事实的确如此，ai使用者购买ai技术的方式将会改变，供货商也必将做出回应。
deepscale执行长forrest iandola
iandola表示，就拿神经网络架构搜寻（nas）为例，其快速发展不仅加快优化深度神经网络（dnn）的搜寻过程，并降低这一过程的成本。他相信有一种方法可以“在目标任务和目标运算平台上建立最低延迟、最高精准度的dnn，”而不是依赖于更大的芯片来处理所有的ai任务。
iandola设想未来ai芯片或传感器系统（如计算机视觉、雷达或光达）供货商不仅提供硬件，而且还会提供自己的高速、高效的dnn——为应用而设计的dnn架构。任何供货商都会为不同的运算平台匹配各自所需的dnn，如果事实真是如此，那ai竞赛中的所有赌注都将失效。
需要明确的是，目前无论是芯片公司还是传感器供货商都没有提出上述前景。甚至很少有人在特定硬件上运作有针对性ai任务的可能性。
iandola及其deepscale团队最近设计了一系列dnn模型，称为“squeezenas”。在最近的一篇报告中，他们声称，当在目标平台上搜寻延迟时，squeezenas“可以建立更快、更准确的模型”。这篇报告推翻了ai小区先前对nas、乘积累加（mac）运算和将imagenet精确度应用于目标任务时所做的一些假设。
deepscale于2015年由iandola和kurt keutzer教授共同创立，是一家位于加州山景城的新创公司，致力于开发“微型dnn”。两位联合创始人曾在加州大学柏克莱大学分校共事，deepscale因其快速高效的dnn研究而在科学界备受推崇。
手工设计（manual designs）
要想真正理解机器学习在计算机视觉方面的最新进展的意义，需要了解其发展历史。
还记得alexnet网络结构模型在2012年赢得imagenet影像分类竞赛吗？这为研究人员打开了竞争的大门，让他们专注于imagenet研究，并寻找能够在计算机视觉任务上达到最高精准度的dnn，以此开展竞争。
imagenet分类错误统计。（数据源：researchgate）
通常，这些计算机视觉研究人员依靠专家工程师，他们会手工设计快速且高精准度的dnn架构。
从2012年到2016年，他们提高了计算机视觉的准确性，但都是透过大幅增加执行dnn所需资源来实现这一目标。iandola解释，例如，赢得2014年imagenet比赛冠军的vggnet，其使用的运算量是alexnet的10倍，参数是alexnet的2倍。
到2016年，学术研究界发现利用增加dnn的资源需求来提高准确性“不可持续”。squeezenet便是研究人员寻找的众多替代方案之一，由iandola及其同事在2016年发表，它展示出在微小预算（低于5mb）参数下imagenet的“合理的准确性”。
squeezenet引发了两个重大变化。相对于squeezenet和其他早期运算而言，mobilenetv1能够大幅度减少mac的数量，shufflenetv1是为行动端cpu实现低延迟而优化的dnn。
利用机器学习改善机器学习
如前所述，所有这些先进dnn都是透过手工设计和调整神经网络架构开发而成。由于手工流程需要专业的工程师大量的除错，这很快就成为一个成本太高、耗时太久的提议。
因而基于机器学习，实现人工神经网络设计自动化的理念，nas应运而生。nas是一种搜寻最佳神经网络架构的算法，并改变了ai格局。iandola称，“到2018年，nas已经开始构建能够以较低延迟运行的dnn，并且比以前手工设计的dnn产生更高的准确性。”
强化学习（reinforcement learning）
随后，计算机视觉界开始使用基于机器学习的强化方法——强化学习。换句话说，“机器学习得到回馈来改善机器学习，”iandola解释。在基于强化学习的nas下，未经训练的强化学习获得建议，指定层数和参数来训练dnn架构。一旦对dnn进行训练，训练运作的结果将作为回馈，从而推动强化学习执行更多dnn来展开训练。
经证明，基于强化学习的nas是有效的。google mnasnet就是一个很好的例子，它在imagenet延迟和准确性方面都优于shufflenet。但它也有一个关键的弱点：成本太高。基于强化学习的搜寻通常需要数千个gpu天（gpu day），以训练数百乃至数千个不同的dnn，才能生成理想的设计。“google负担得起，”iandola表示，但大多数其他公司负担不起。
现实地说，一个基于强化学习的nas要训练一千个dnn，每个dnn通常需要一个gpu天。考虑到目前亚马逊（amazon）云端服务平台的价格，iandola估计，一个使用基于强化学习的nas搜寻所花费的云端运算时间可能耗资高达7万美元。
超级网络（supernetwork）
在这种情况下，去年底出现了一种新的nas类型，称为基于“超级网络”的搜寻。它的典型代表包括fbnet（facebook柏克莱网络）和squeeznet。
搜寻时间减少100倍。（数据源：deepscale）
iandola解释：“超级网络采用一步到位的方法，而不是培训1，000个独立的dnn。”例如，一个dnn有20个模块，每个模块有13个选项。若为每个模块选择一个最喜欢的选项，“你正在以10个dnn训练运作花费为代价，一次性训练一个汇集了千兆种dnn设计的dnn，”iandola解释。
结果显示，基于超级网络的nas可以在10个gpu天的搜寻时间内建立dnn，其延迟和准确性优于mnasnet。“这让搜寻成本从7万多美元减少到大约700美元的亚马逊云端服务gpu时间，”iandola说。
“10个gpu天”的搜寻时间相当于在一台如衣柜般大小的8 gpu机器上花费一天的时间，”iandola解释。
怎样用Arduino从LDR读取模拟值
新型高效抗反射金属材料实现激光解吸附离子化质谱分析
中控智慧科技考勤机新iClock360介绍
世界上第一台能够像植物卷须一样卷曲和攀爬的软机器人问世
RS485接口电路原理图
DNN究竟对AI的发展有没有什么帮助
噪声有“温度”吗？答案有些意外
小米6使用全屏？小米6搭载骁龙835，6+64G内存！
三雄极光照亮贵阳生态地铁
恩智浦新一代毫米波雷达开发平台，L2+级及更高级别自动驾驶开发必备！
什么蓝牙耳机好，性价比高的四款蓝牙耳机测评
全能型农药残留检测仪的相关性能描述
浅谈电力系统中变压器提高抗短路能力的措施
脉搏测量的结构组成与工作原理介绍
华为旗舰机P30 Pro到底值不值得购买
详解比特币的原理及运作机制
风河实时操作系统最新版本即将上市
Pico示波器2204A的性能特点及应用解决方案分析
工厂的数字化转型离不开坚实的IT基建和数据基础
Horizontal Pod Autoscaler的工作原理