介绍一款仿真器v2e

事件相机仿真器模拟事件相机,生成事件数据供不同任务使用。本文简介一款仿真器v2e。
before v2e
在v2e出现之前,也出现过不少仿真器,从uzh的repo上可以找到
比较出名的一个是2017年的event camera dataset附带的仿真器,其根据最基本的事件生成模型进行仿真。
另一个是esim,相对于之前的仿真能力强大,仿真技术上的一项改进是将均匀采样改变了自适应采样,使光强变化更快的时候时间采样率更高。见下图右。
左图:[1]的采样原理;[2]esim的自适应采样
同时,esim由于可以自行设置图片或3d场景进行自定义的相机运动,可以获取包括普通图像、深度图等信息在内的数据,广泛的应用于slam、光流估计等任务。可以在ros运行,使用较为方便。
图:esim配置后的和运行结果
about v2e
最后出现了本文的重点v2e[3]。在esim和vid2e中,生成机制是事件生成模型,考虑了噪声和对比度阈值的影响,但与实际具有较大差距。v2e相比于前者,增加了更多的功能:暗光仿真、运动模糊、时间延迟等。(以下内容来自本人之前的博客,直接进行了搬运。博客连接点击文末“获取原文”)
v2e的安装与使用(windows)
v2e的完整安装可参考github的repo
本人在windows11 rtx3050笔记本上进行了安装测试,进行整理如下:
1. 安装环境
首先需要安装v2e的运行环境,推荐采用conda安装python3.9的虚拟环境。
之后官方说需要有gpu和cuda加速,我不清楚没有gpu是否可以,但我觉得哪怕可以仿真也会非常慢,不能忍受,所以还是需要有gpu;
最后安装v2e依赖项:下载v2e后采用pip进行安装依赖项。
2. 数据准备
v2e采用superslomo网络首先对原始视频进行慢放,所以需要下载superslomo的模型,并创建一个input路径将模型放在input路径下备用;
之后需要放待仿真的数据,v2e可以对视频进行仿真,也可以对一组图片进行仿真,只需要给定的是视频文件路径或图片文件夹路径即可自动选择。
3. 运行与参数选择
v2e的参数极其多,毕竟仿真的功能很多,包括dvs的参数(时间戳/像素分辨率、噪声水平、对比度阈值、截止频率等)、superslomo的参数、输入输出参数(可以输出视频、文本、hdf5、aedat等多种格式)等,详见v2e的repo。
运行时只需要在cmd进入虚拟环境后执行一行代码即可。
v2e仿真dvs数据输出视频
针对上面的视频,原视频6s,分辨率设置为346x260,其他参数采用默认配置,仿真时间约3-5分钟(rtx3050)。
4. 使用感受:
v2e的内容虽然非常复杂,但是使用起来较为简单,只需要按照文档把参数设置好就可,而且如果遇到错误在运行时给出的报错信息也非常完整,基本可以根据报错信息快速定位问题原因并解决。
后记
我配置过esim和v2e,感觉v2e虽然功能复杂,但使用起来更为方便,开发的较为完善,而esim配置过程中印象里踩了不少的坑。v2e的另一个好处就是可以windows下使用,对ubuntu和ros不熟悉的朋友更加友好。当然,最重要的是,v2e的仿真更加科学、真实。所以如果有仿真需求的朋友,可以考虑直接用v2e。


使用SAM L11微控制器保护IoT端点
树莓派4B的详细资料说明
基于嵌入式软件的JNI技术应用解析
中国家电面临六大变化和趋势
FCM980-B专门短波通信设计的综合智能终端是一个高性价比的产品
介绍一款仿真器v2e
温度PLC控制系统的PID控制要求
内存套条和单条的区别
缩短MultiBoot流程中的回跳 (Fallback)时间
正弦波信号发生器基本原理与设计
iPhone的27条使用小技巧详细说明
Kann推出集成独立耳机放大模块的数字音频播放器
波士顿动力Spot被改造 机器人的日子也不好过
手机芯片排名2021最新
中国最美机器人到底长啥样
PCB行业高科技智能化设备的引领者—江西鑫金晖智能科技有限公司
半导体工艺演进对DRAM、逻辑器件和NAND的影响
倪健中参观调研非遗电商博物馆
三星S8这一创新令iPhone 8尴尬:能变身PC办公!
人工智能,自动驾驶的思维起步