相机和激光雷达的时间戳同步问题
相机和激光雷达之间的时间戳同步问题一直是实时跑slam的先决条件。本文试图以最清晰的思路去讲明白这个事情。
01 相机特性-曝光和读出
相机获取一帧图像分为曝光和读出两个阶段。相机使用的传感器不同，相机的曝光时间和读出时间的重叠关系也有所不同，分为交叠曝光和非交叠曝光两种。交叠曝光和非交叠曝光相比，交叠曝光可以减少曝光时间对出图时间的影响。
非交叠曝光是指当前帧的曝光和读出都完成后，再进行下一帧的曝光和读出。非交叠曝光帧周期大于曝光时间与帧读出时间的和。
内触发模式非交叠曝光交叠曝光是指当前帧的曝光和前一帧的读出过程有重叠，即前一帧读出的同时，下一帧已经开始曝光。交叠曝光帧周期小于等于曝光时间与帧读出时间的和。
内触发模式交叠曝光对！上一段就是为了告诉你：后文叙述中无论当前帧曝光时间和上一帧的读出时间是否重叠都不要惊讶。02 图像采集：触发模式（外部输入）相机的触发模式分为内触发模式和外触发模式 2 种。
内触发模式：相机通过设备内部给出的信号采集图像。
外触发模式：相机通过外部给出的信号采集图像。外部信号可以是软件信号，也可以是硬件信号，主要包含软触发和硬件触发。外触发模式如图：
外触发模式软触发：触发信号由软件发出（也可以利用相机sdk提供的api接口进行软触发）。硬件触发：外部设备通过相机的 i/o 接口与相机进行连接，触发脉冲信号由外部设备给到相机进行采图。其实是直接对相机内部寄存器进行读写。下图是海康相机的电源io的6-pin线缆：
海康相机电源及io接口（6-pin hirose）其中，海康相机有1个光耦隔离输入line0+，1个可配置输入输出line2+，可选择一个配置为输入信号。03 触发输出相机触发输出信号为开关信号，可用于控制报警灯、光源、plc等外部设备。触发输出信号可通过strobe 信号实现。相机的曝光发生时，会立即输出一个strobe信号，该信号为高电平有效。后文我们主要使用该信号对lidar等其他传感器进行硬触发。这里有一个strobe的预输出的概念。strobe信号早于曝光生效。其工作原理为延迟曝光先进行strobe输出。该功能可应用于响应比较慢的外部设备。strobe预输出时序如图所示。（后面会讲为啥要延迟曝光）
strobe信号预输出时序现在我们回到正题吧，现在讲起来就很快了。要同步相机和激光雷达的时间戳主要有三个方式，硬触发、软触发、软触发+硬触发。下面我以手绘示意图的形式一一介绍。先说硬触发吧。一个mcu产生脉冲信号对三个传感器设备进行硬触发。
对于软触发+硬触发来说，可以先用相机sdk的api对一个相机进行软触发，然后利用相机的外触发信号strobe对雷达和相机等其他传感器进行硬触发。
这里需要注意一个问题，如果进行软触发的第一个相机在曝光的同时发出strobe信号，其他被硬触发的传感器总归是晚了一步，不能完全同步。因此引出了之前strobe的预输出的概念，即先进行strobe输出再延迟曝光。配置该模式时注意四点：1.上升沿or下降沿的触发方式；2.有效电平宽度，电平幅值，你要知道能触发lidar的最低幅值；3.strobe预输出4.两边电平信号是否一样，3v or 5v是否需要升压。。.最后讲讲不被推荐的软触发。首先调用api操作相比于硬触发（对传感器内部寄存器直接进行读写操作）明显是慢了，执行第二句命令api（2）前api（1）就已经花了些时间
//读取lidar和image数据的线程1while(1){api(1); //软触发第一个sensorapi(2); //软触发第二个sensor//假设脉冲周期为0.5s}//处理数据线程2for(i=0;i
开关电源的常用电路详解
固定电阻器的检测
八进制计数器设计方案汇总（四款模拟电路原理实现过程）
同样是Note系列产品，魅族魅蓝Note6却做了一件连三星Note8都不敢干的事情
单片机实现的智能泊车系统方案
相机和激光雷达的时间戳同步问题
详解两种常见的过流保护电路及注意事项
智慧园区大屏可视化，让数据展现更为直观
埃派克森成为第二间获得三届GSA年度奖项的亚太公司
华为nova 2s四镜头？功能的升级可能比你想象的要多
基于Nios软核的电缆故障检测仪设计
华为电脑用上国产系统，实用性不输Windows
为了满足市场需求 多台工业机器人协同工作势在必行
空气炸锅值得买吗？
can总线传输距离
警用无人机与低空安全技术协同创新中心引导行业积聚与产业持续升级
世界各地与加密货币相关的犯罪行为正在日益上升
摩拜单车已接入美团 App，今晚将停止服务和运营
白光干涉仪的应用场景
苹果购并Anobit SSD控制晶片公司
01 相机特性-曝光和读出
相机获取一帧图像分为曝光和读出两个阶段。相机使用的传感器不同，相机的曝光时间和读出时间的重叠关系也有所不同，分为交叠曝光和非交叠曝光两种。交叠曝光和非交叠曝光相比，交叠曝光可以减少曝光时间对出图时间的影响。
非交叠曝光是指当前帧的曝光和读出都完成后，再进行下一帧的曝光和读出。非交叠曝光帧周期大于曝光时间与帧读出时间的和。
内触发模式非交叠曝光交叠曝光是指当前帧的曝光和前一帧的读出过程有重叠，即前一帧读出的同时，下一帧已经开始曝光。交叠曝光帧周期小于等于曝光时间与帧读出时间的和。
内触发模式交叠曝光对！上一段就是为了告诉你：后文叙述中无论当前帧曝光时间和上一帧的读出时间是否重叠都不要惊讶。02 图像采集：触发模式（外部输入）相机的触发模式分为内触发模式和外触发模式 2 种。
内触发模式：相机通过设备内部给出的信号采集图像。
外触发模式：相机通过外部给出的信号采集图像。外部信号可以是软件信号，也可以是硬件信号，主要包含软触发和硬件触发。外触发模式如图：
外触发模式软触发：触发信号由软件发出（也可以利用相机sdk提供的api接口进行软触发）。硬件触发：外部设备通过相机的 i/o 接口与相机进行连接，触发脉冲信号由外部设备给到相机进行采图。其实是直接对相机内部寄存器进行读写。下图是海康相机的电源io的6-pin线缆：
海康相机电源及io接口（6-pin hirose）其中，海康相机有1个光耦隔离输入line0+，1个可配置输入输出line2+，可选择一个配置为输入信号。03 触发输出相机触发输出信号为开关信号，可用于控制报警灯、光源、plc等外部设备。触发输出信号可通过strobe 信号实现。相机的曝光发生时，会立即输出一个strobe信号，该信号为高电平有效。后文我们主要使用该信号对lidar等其他传感器进行硬触发。这里有一个strobe的预输出的概念。strobe信号早于曝光生效。其工作原理为延迟曝光先进行strobe输出。该功能可应用于响应比较慢的外部设备。strobe预输出时序如图所示。（后面会讲为啥要延迟曝光）
strobe信号预输出时序现在我们回到正题吧，现在讲起来就很快了。要同步相机和激光雷达的时间戳主要有三个方式，硬触发、软触发、软触发+硬触发。下面我以手绘示意图的形式一一介绍。先说硬触发吧。一个mcu产生脉冲信号对三个传感器设备进行硬触发。
对于软触发+硬触发来说，可以先用相机sdk的api对一个相机进行软触发，然后利用相机的外触发信号strobe对雷达和相机等其他传感器进行硬触发。
这里需要注意一个问题，如果进行软触发的第一个相机在曝光的同时发出strobe信号，其他被硬触发的传感器总归是晚了一步，不能完全同步。因此引出了之前strobe的预输出的概念，即先进行strobe输出再延迟曝光。配置该模式时注意四点：1.上升沿or下降沿的触发方式；2.有效电平宽度，电平幅值，你要知道能触发lidar的最低幅值；3.strobe预输出4.两边电平信号是否一样，3v or 5v是否需要升压。。.最后讲讲不被推荐的软触发。首先调用api操作相比于硬触发（对传感器内部寄存器直接进行读写操作）明显是慢了，执行第二句命令api（2）前api（1）就已经花了些时间
//读取lidar和image数据的线程1while(1){api(1); //软触发第一个sensorapi(2); //软触发第二个sensor//假设脉冲周期为0.5s}//处理数据线程2for(i=0;i
开关电源的常用电路详解
固定电阻器的检测
八进制计数器设计方案汇总（四款模拟电路原理实现过程）
同样是Note系列产品，魅族魅蓝Note6却做了一件连三星Note8都不敢干的事情
单片机实现的智能泊车系统方案
相机和激光雷达的时间戳同步问题
详解两种常见的过流保护电路及注意事项
智慧园区大屏可视化，让数据展现更为直观
埃派克森成为第二间获得三届GSA年度奖项的亚太公司
华为nova 2s四镜头？功能的升级可能比你想象的要多
基于Nios软核的电缆故障检测仪设计
华为电脑用上国产系统，实用性不输Windows
为了满足市场需求 多台工业机器人协同工作势在必行
空气炸锅值得买吗？
can总线传输距离
警用无人机与低空安全技术协同创新中心引导行业积聚与产业持续升级
世界各地与加密货币相关的犯罪行为正在日益上升
摩拜单车已接入美团 App，今晚将停止服务和运营
白光干涉仪的应用场景
苹果购并Anobit SSD控制晶片公司