浅谈基于事件驱动的AI视觉开源,对加速机器视觉应用开发的作用

prophesee为其事件驱动的人工智能(ai)视觉开发生态系统新增开源模块和训练数据资源库。
开源模块和训练数据资源库
据麦姆斯咨询报道,法国ai视觉开发商prophesee面向光流和目标探测等ai视觉应用,发布了一套关键的开源软件模块和一组事件驱动的机器学习工具。
metavision intelligence套件
作为metavision intelligence套件的一部分,prophesee向开发者提供了业界最大的高清事件驱动数据集openeb(免费下载)。这有助于开发人员使用事件驱动的方法来进行机器学习,这种方法由场景的变化而不是神经网络框架触发。
和人眼视觉原理类似,prohesee开发的传感器只有在感知到场景变化时才会进行记录,不同于传统图像传感器以固定的帧时钟记录图像信息。即仅在场景发生变化时,这种基于事件的视觉传感器上的像素才做出反应,场景中静态的部分都不会被捕捉。
prohesee基于事件驱动的图像传感器
这种基于事件的视觉感知设计,主要有三大优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(》120 db)。这些优势对于当代机器视觉而言极具价值,尤其在减少数据量的问题上,对于有限的通信、存储与计算资源都显得相当友好。
传统基于帧和prophesee基于事件的视觉传感器成像对比
prophesee联合创始人兼首席执行官luca verre解释称:“所谓‘事件’,是指一个像素激活自身并发送事件检测到发生的x、y坐标和时间戳。传感器上每个像素独立接收光子,光电二极管因此产生电流,进行累加之后,像素再持续地将电流的实时电荷电压与参考值做比较。在电压增减达到一定程度时,该像素就会发出一个事件。整个过程是μs级别的速度。”
首款事件驱动ai相机已出货
日本centuryark推出的silkyevcam人工智能相机,采用了prophesee的事件驱动图像传感器和软件
日本centuryark在2020年末面向广泛的工业机器视觉应用推出了超小型usb摄像头silkyevcam。silkyevcam采用了prophesee的metavision视觉传感器以及metavision intelligence套件。为采用事件驱动方案的机器视觉开发人员,提供了更快的上市时间。
相比传统基于帧的视觉传感技术,这款相机采用了基于时间的metavision视觉传感器,将场景中收集的数据量减少了1000倍,显著提高了性能。这种事件驱动方案能够以等效10000 fps以上的时间分辨率进行高速视觉,并支持超过120 db的宽动态范围,使其适合在苛刻的照明条件下进行高效运行。
在此基础上,这款相机率先提供了对metavision intelligence套件的全面支持,这是业界最全面的一套开发工具,用于加速机器视觉系统中对基于事件的视觉技术的探索和实现过程。该套件包含62种算法、54个代码示例和11个现成的应用程序。它为用户提供了c++和python api以及大量的文档和示例,通过增加难度来逐步引入基于事件的机器视觉的基本概念。
prophesee最新发布的metavision intelligence版本增加了一套扩展的开发工具和软件,用于设计具有事件驱动机器学习的工业视觉系统。该套件现在包括近100种算法、67个代码样本以及11个特定用例的应用模块,可以加速用户的开发过程。
openeb的开源模块可以通过github获取,它允许设计人员构建自定义插件,并兼容用于开发事件驱动系统的metavision intelligence套件。它为开发者提供了一个跨机器视觉生态系统共享软件组件的平台。
“我们希望在机器视觉生态系统中建立一个开放的技术标准,实现易得性和互操作性的新高度。”luca verre说,“我们的方案为基于事件的技术提供了持续增长的生态系统,具有丰富的开放基础和强大的开发框架。它包括了我们多年来收集的广泛而可靠的数据,以及利用我们在各种用例中积累的专业知识,加速客户特定系统开发的应用模块。”
openeb数据库为相机制造商及其客户提供了标准的基于事件的数据格式。metavision intelligence套件的开源模块,可以兼容相机制造商及其客户的生态系统。prophesee开源许可提供关键模块,可以加速定制插件的创建,同时确保兼容相机制造商提供的底层硬件。
从prophesee过去四年来创建的实际序列数据集开始,其开发环境为机器学习应用的快速发展提供了一个完整平台。开发人员可以利用各种工具指导神经网络模型的开发,对基于事件的数据进行推理,以进行用于目标探测的监督训练和用于光流的自监督训练,均为基于事件的视觉应用进行了优化。
此外,开发人员可以利用提供的基于事件的模拟器轻松创建自己的模型,或利用其现有的基于帧的数据集和模型,并使用基于事件的视觉对其进行改进。
metavision intelligence套件添加了新的即用型应用,并可以通过基于事件的视觉进行增强,其中包括:
- 粒度监测:在生产线上以极高的速度(高达50000像素/秒),对通过视场的物体进行计数和测量,计数精度高达99.9%,从而确保更好地控制过程。
- 喷射监测:实时监测液体分配的速度和质量。对高速喷射进行检测和计数,支持高达500 hz的喷射分配,并在分配器出现错误时自动生成警报。
- 轮廓特征跟踪:利用基于事件的传感器提供的低数据率和稀疏信息,以较低的算力实现超稳健的3d目标实时跟踪。


落镖冲击试验机主要做什么的?落镖冲击试验机的用途是什么?
亚马逊云服务(AWS)在中国推出ISV全新加速赢计划
16年卖最火的五款手机,谁是真正的无人能敌!
ECAD/ MCAD协同对PCB的作用及发展
追剧要选无边框手机:三星S8、努比亚Z11、酷比H9都不错
浅谈基于事件驱动的AI视觉开源,对加速机器视觉应用开发的作用
人工智能有望比以往任何技术对商业和社会产生更大的影响
汽车智能钥匙一键启动的简介、安装、使用方法之详细攻略
骁龙625手机哪个好_骁龙625手机推荐
直击碳排放核心来源,看这些芯片如何造就高能效工业设备?
r&s信号发生器SMR40_40G频率以及电平超差维修
贺煜博士成功实现单原子直写的量子计算芯片
中国芯被倒逼迎来突破惊艳世界
源极跟随器电路参数讲解(2)
1699元的诺基亚6,让我想起了当年的一加X
AMD官宣收购赛灵思,国内半导体行业将受到何种影响?
基于NTC的电路控温设计方案
文远知行WeRide首发最新的L4级自动驾驶车型日产LEAF 2
中国电信发布2020年前三季度财报,整体营收去年同期上升3.5%
随着通信技术的发展,全球物联网将迎来发展的爆发期