在cvpr 2018大会上,英伟达开源了数据增强和数据解码的两个新的库:
nvidia dali:一个gpu加速的数据增强和图像加载库,用于优化深度学习框架的数据pipeline
nvidia nvjpeg:一个高性能的gpu加速的图像解码库
由深度学习驱动的计算机视觉应用程序包括复杂的、多阶段的预处理数据pipeline,包括计算密集型的步骤,例如从磁盘加载和提取数据、解码、裁剪和调整大小、颜色和空间变换以及格式转换。
通过使用gpu加速数据增强,nvidia dali解决了当今计算机视觉深度学习应用程序中的性能瓶颈问题,这些应用程序包括复杂的多阶段数据增强步骤。借助dali,深度学习研究人员可以通过mxnet、tensorflow和pytorch在aws p3 8 gpu实例或volta gpu的dgx-1系统上提高图像分类模型(比如resnet-50)的训练性能。由于可以跨框架实现高性能的数据加载和增强,框架用户将能够减少代码重复。
dali依赖于新的nvidia nvjpeg库进行高性能的gpu加速解码。
dali的优势包括:
能与mxnet,tensorflow和pytorch的框架直接集成
具有支持多种数据格式(如jpeg,原始格式,lmdb,recordio和tfrecord)的便携式训练工作流
具有可配置图形和自定义操作符的自定义数据pipeline
使用nvjpeg进行高性能的单图像解码和批量jpeg解码
nvjpeg是一个用于jpeg解码的高性能gpu加速库。nvjpeg支持同时使用cpu和gpu对单个图像和批量图像进行解码、颜色空间转换、多相位解码,以及混合解码。与只使用cpu解码相比,使用nvjpeg进行解码的应用程序具有更高的吞吐量和更低的延迟。
nvjpeg为计算机视觉应用中常用的jpeg格式提供低延迟解码器,如图像分类、物体检测和图像分割等应用。对于深度学习训练应用,nvjpeg可以加速数据加载和预处理,如平移、缩小,放大,翻转等。对于需要低延迟深度学习推理的应用,nvjpeg可用于实时地进行jpeg解码和调整大小。
nvjpeg的优势包括:
使用cpu和gpu进行混合解码
可以进行单个图像解码和批量图像解码
色彩空间可以转换为rgb,bgr,rgbi,bgri和yuv
单相位解码和多相位解码
dali已经开源,可以从github获取:
https://github.com/nvidia/dali
nvjpeg预发行版也已经可以免费下载,用于收集反馈和测试,今年晚些时候会作为cuda工具包的一部分提供。
国内成熟的AR应用案例有哪些?
一种基于BOC信号的导航发射信道预失真方案
使用合适的高电压运算放大器安全、高效地控制和放大高电压
科创板铂力特董事张凯介绍、履历信息
Fitbit在北京举办了新闻发布会推出了旗下最新的智能手表FitbitVersa™
解决计算机视觉深度学习应用的性能瓶颈问题
茂捷半导体:电源变换器IC可提供100W的功率输出!
汽车照明的四大设计维度
听筒防水透气膜是什么,它的三个优势特点是什么
半导体企业巨头收购失败背后的担忧
pcb抄板收费贵吗?
基于DSP的振镜扫描式激光标记技术设计分析
46亿元!万达、腾旭和高朋斥巨资成立新公司
H.265:网络视频的高清时代
台积电赴美建5nm晶圆厂计划获批
浅谈分布式能源
关于RUNBONE智能骨传导运动耳机的性能介绍
4D成像雷达成为研发高阶自动驾驶汽车的优质选项
睿创微纳研制成功K波段卫通相控阵平板天线子阵试验样机
粮食重金属快速检测仪有哪些