利用Qualcomm骁龙神经处理引擎SDK,实现设备端AI

人工智能(ai)和机器学习(ml)日新月异,在游戏、人类对话、社交媒体甚至燃油泵方面产生的变化备受关注。如果您回顾一下并站在开发者的角度观察ai的话,可以看到这一过程中有外因,也有内因,并且外因和内因也在迅速变化当中:
•    外因:ml两大组成部分——训练和推理,直到最近才被安排到云端。移动处理器的计算能力在逐步提升,为边缘设备(如智能手机和无人机)运行推理工作负载(而非在云端运行)打下基础。
•    内因:如今,应用程序是否引人注目取决于用户体验。在对自拍进行美颜处理既有吸引力又有乐趣,但是,在云端执行这项工作会造成延迟,从而破坏美好的体验。如果您不在设备端运行分类和跟踪之类的工作负载,那么造成的不愉快体验会让客户最终离您而去。
•     “推手”:移动处理器(cpu、gpu和dsp)每个核心都有自己的电源/性能配置文件。作为开发者,您可以在边缘设备(如智能手机)上选择最有效运行工作负载的时间和方式。
也正是因为如此,qualcomm technologies,inc.(qti)才推出了qualcomm® 骁龙™神经处理引擎(npe)sdk。该sdk已经以限定版本发布了数月,现在更是通过qualcomm开发者网络提供给更广泛的开发者社区。该sdk旨在加速骁龙设备神经网络处理,方便开发者根据特定的用户体验选择最佳核心:qualcomm kryo™ cpu、qualcomm adreno™ gpu或qualcomm hexagon™ dsp。
具有更高性能和更低功耗的ai
在任何边缘设备上,ai都是性能和功耗平衡的棘手环节。
比方说,您已经在云端训练了神经网络模型。下一步是编写移动应用,利用模型运行推理,识别面部、跟踪对象、检测声音、理解语言,甚至将猫添加到自拍中。您知道,如果在云端运行这一切的话,造成的延迟会彻底毁了用户体验,因此,您编写应用在设备cpu上运行推理工作负载。但是很快您就会认识到,这样做的结果是,不但耗电量大,而且性能平平。
“我想不妨尝试一下其它核心而不是cpu,”您对自己说。
好主意。snapdragon处理器上的cpu、gpu和dsp以不同的方式处理工作负载。比如,为获得最佳功耗/性能特性,语音检测应用最好在hexagon dsp上运行,而对象检测或样式传输应用更适合运行在adreno gpu上。
我们设计npe sdk就是为了能够让您评估各核心执行模型的效率。然后,决定在哪里运行应用。
改善在caffe / caffe2和tensorflow中训练的神经网络模型
qti专注于两个开源深度学习框架:分别由facebook和google开发和发起的caffe/caffe2和tensorflow。另外,如果您拥有caffe或tensorflow不支持的专有或自定义网络层,可以利用npe sdk灵活添加。
推理工作负载卸载到正确的核心会带来哪些好处呢?我们在商用手机上的测试显示,adreno  gpu的性能和能效提升了4-5倍,而使用向量扩展(hvx)的hexagon dsp也提升了2倍。
开发者已经在使用npe,充分发挥骁龙的性能,提升移动应用体验。例如,facebook在其开发者大会f8上宣布,将npe整合到facebook应用的相机功能中,加速实现caffe2支持的ar特性,在拍摄照片和直播视频时,实现更流畅、无缝且逼真的ar特性应用。
接下来
npe sdk包括运行时软件、库、api、离线模型转换工具、示例代码、文档、调试和基准测试工具。目前,npe sdk兼容骁820, 835, 625, 626, 650, 652, 653 和 660(android)和骁龙 625和626(linux)。
如果您拥有训练神经网络模型的资源和专有技术,并且希望搭载骁龙的移动设备或边缘设备获得最佳性能和功耗,那么npe sdk就是最佳选择。您不需要了解异构计算或成为ml专家,但如果您拥有数据、分析和深度神经网络训练的经验,会让您受益良多。
关注我和qualcomm ai团队发布的文章,了解有关npe sdk的更多详细信息:
•    使用npe sdk的知名应用
•    入门方法
•    改善性能和功耗的技巧
同时,现在就访问我们的骁龙神经处理引擎页面,下载sdk。
您还可以注册参加我们于2017年8月1日上午9点举办的骁龙和边缘ai网络研讨会,了解为什么qti认为移动设备是实现设备端人工智能体验的理想平台。
更多qualcomm开发内容请详见:qualcomm开发者社区。

昔日空调行业霸主销量不如三线品牌 空调停产压缩机待处置
电磁继电器的触点类型和粘连解决方法
中国电信打造全球共建共享的5G精品网,为社会经济发展带来“5G效率”
北醒基于近红外ToF激光雷达提出料位检测方案
解答树莓派上用什么编程
利用Qualcomm骁龙神经处理引擎SDK,实现设备端AI
stm32中断怎么处理的
【汽车大PK】全新君威28T/迈腾380TSI
如何使用自供电运算放大器创建低泄漏整流器
功放为什么要使用环形变压器?环形变压器应用在音响功放中的优点
磁性开关的原理和应用
汽车CAN总线渗透测试
科创板中国通号副总裁、总工程师张志辉介绍、履历信息
季丰电子获得ISO/IEC 17025 资质认定
关于视频模拟信号的数字化和量化
阻抗的匹配问题
利用磁控溅射技术提高绝缘金属基板PCB的散热性能
直流电机和步进电机的区别
NVIDIA旗下GAN迎来新里程碑
PCB萃取设备原理你了解吗