车用图像传感器参数小议——信噪比知多少？
本文作者：安森美(onsemi)中国区汽车现场应用工程经理william chen
智能驾驶如今渐渐成为汽车的一个常见功能，它增强了汽车和驾驶员的感知能力，降低了驾驶员的工作强度，同时可以有效提高行车的安全性。这其中，基于cmos 图像传感器的摄像头是智能驾驶系统感知外界环境的主要工具之一。
cmos图像传感器是成像sensor，它本质上是一个存储器和模数转换（adc）的组合。基于硅的光电效应，入射光线会在传感器像素的感光二极管中激发电荷，电荷被收集存储，经过adc转换为数字输出。
图1 光电效应 从架构上看，cmos图像传感器类似于一个存储器memory，它有大量存储单元，支持行和列的寻址操作，区别在于存储器是电路写入内容，而sensor中的内容是可见光或近红外光线写入的。传感器收集到的电荷包括两部分：一部分是我们期望的电荷，来源于环境光线所激发的有效信号；另一部分是用户不希望的干扰产生的电荷，干扰来源有很多种，一般统称为噪声。
我们希望图像中的有效信息越多越好，干扰噪声越少越好。一个常见的衡量图像噪声效果的指标是信噪比snr，即信号与噪声的比值。信噪比越大，图像噪声相对含量越少，图像质量越好。snr的单位可以是比值，也可以转成对数单位db。
cmos sensor的数据手册一般都会提供信噪比参数snr，如下所示。
有一个常见的问题：46db信噪比的sensor是不是比43db的sensor低照效果更好？答案是未必，脱离条件的结论往往会掉到坑里。
snr不是一个点，它是光照条件的函数，如图2，snr会随着光照强度变化变成一条曲线。当它作为低照效果指标时，要求选取低照条件下的snr值。而业内sensor数据手册上的snr参数通常是snr最大值，对应于光照环境非常明亮时的snr值，即图中蓝色snr曲线右上角的snr max点。而蓝线位于左下角区域的snr值才适合作为评估低照的参数，此时的光照不足，对应于低照环境。这就像卖苹果，放在上面一层是最好的，你需要翻开篮子，看看里面苹果的质量如何。
图2 信噪比snr曲线
依据最大snr点来评判sensor有以偏概全的问题。根据需要，用户可以选取特定曝光条件exposure对应的snr大小来评判低照噪声，snr越大越好；也可以限定snr为某个固定值，例如snr=5时，用此时需要的曝光条件exposure值大小来评判低照噪声，exposure值越小意味着达到同等snr时需要的光照资源越少，sensor的低照性能越好。
图2显示的是普通sensor的snr，是单调递增的曲线。汽车上使用的cmos sensor，为了匹配全天候应用场景，需要很高的动态范围hdr，hdr常用方法是改变sensor的灵敏度，对环境的不同亮度分别采样，再把多次采样的图像帧映射到标准化的线性数据空间，最后从不同灵敏度帧中选取合适像素，拼成一张完整的图像帧，参见《车用图像传感器参数小议——动态范围》。
sensor的灵敏度变化，对应于坐标系中的snr线移动到不同的位置，最终hdr图像的snr曲线演变成多条snr曲线的拟合结果，例如图3的蓝线，它不再是一条单调递增曲线，除了低照snr会很小以外，高亮区间还会出现多个局部极小值，当工作点落在snr跌落区间时，即便此时环境很亮，噪声也会恶化。
这在图像上会出现一个违背人眼感知习惯的现象，即随着亮度增强，图像的质量会从差到好，然后又突然恶化的情况。因此与传统线性sensor不同，车用宽动态sensor的信噪比还需要评估高亮条件下的极小值指标。
图3 hdr图像的snr
图4 snr和噪声 车用sensor的snr是一条非单调的曲线，汽车应用环境会让问题变得更复杂。sensor是一个模拟器件，在adc之前，信号和噪声数据是以电荷的形式存储的，sensor的暗电流也会累积电荷，其产生速度大致上与曝光时长成正比，与温度呈指数关系。所以我们还必须考虑温度，曝光时长以及模拟增益对暗态噪声的影响。snr同时是温度，曝光时间和模拟增益的函数，它的曲线已经变成多维的曲线簇了。
以温度影响为例，图5是snr=10时需要的exposure值随sensor内部温度升高的变化趋势，我们可以看到，不同sensor对温漂的敏感度是不一样的，这两个sensor的snr曝光值在60°c时发生交叉，意味着在室温25℃和高温80℃分别评估时，得出的snr结论截然相反。
图5 晶圆内部温度影响 按照车用摄像头有效使用生命周期的温度分布，超过88%的生命周期内，sensor内部的节温超过40℃，超过80%时间内节温超过60℃，超过65%时间内节温超过80℃。
温漂影响会导致snr曲线发生进一步变化。如图6红色虚线示意，当温度升高后，snr曲线在低照区域和高亮局部区域会继续下跌。
图6 温度对hdr snr影响 目前业内对车用图像传感器snr的评估，常采用欧洲机器视觉协会的emva1288标准来测试。emva1288标准中的信噪比snr，是基于传统单调的线性sensor模型来定义的，对于车用宽动态图像传感器 snr特性的描述并不完善。电气与电子工程师协会ieee正在为汽车影像定义新的质量测试标准p2020，作为工作组成员之一，安森美公司承担了ieee p2020标准中图像噪声标准的起草工作，其中就包括了snr参数。
最后总结一下，车用cmos图像传感器的信噪比snr是一个关键的图像质量指标，它具有非单调特性，受到汽车应用环境的多因素影响，对snr的评估是一个多维的综合评判工作，客观全面的snr评价才能真实描述sensor的性能，正确指导车用成像产品的开发工作。
两场主题研讨会报名随着汽车的连接性越来越强，并向自动驾驶迈进，安全性比以往任何时候都更重要。安森美对汽车应用和趋势的了解，加上在图像感知方面的工程专长，助力客户能够开发出下一代产品，以迈向彻底消除交通死亡和重伤的 「零愿景 」 战略。 安森美新一代 hyperlux 传感器提供 300 万像素、800 万像素、以及更高像素选择，能够捕捉 150db 超高动态范围（hdr）图像，单次曝光无闪烁动态范围 120db。
直播主题 利用汽车图像传感器向更安全的道路迈进
直播时间 2023年8月22日 1030
专家介绍
kandy xiong安森美现场应用工程师 kandy xiong负责华南地区客户汽车图像传感器的推广工作，他在图像传感器架构、汽车图像应用方案拥有近15年丰富专业经验。
扫描二维码免费预约直播
直播主题 安森美车用图像传感器发展趋势与应用
直播时间 2023年9月7日 1000
专家介绍
burton ho安森美fae burton ho拥有将近20年的图像相关工作经验,熟悉图像soc平台等，搭配接洽过许多国际大厂项目，目前负责安森美智能感知部门的车用及消费型产品技术支持。
扫描二维码免费预约直播
笔记本电脑怎么选？11代酷睿处理器让你摆脱选择困难症
西门子SMARTP通过MODBUS RTU实现一主多从的步骤
把稳舵 发展前景自然来
基于Sentinel实现历史监控数据回看
!销售/回收HP8672A信号源HP 8672A小兵/孟S1
车用图像传感器参数小议——信噪比知多少？
特斯拉汽车租赁业务比例下降，与二手车转售价值疲软有关
存放电池电量计DS2780参数-Storing Batter
日本无线送电技术将进入实用化阶段
自动驾驶的发展起源以及DARPA时的计算机视觉
新款221系列导线连接器上市：适于Ex防爆应用，更简单、快速、可靠
工业领域自动驾驶的春天到来 安全生产问题必须要十分重要
简易光控电路图实物图
通用航空相关政策赋能行业发展，黑龙江省是中国通用航空业之王
河道流量在线监测系统实时监测河道流量
电瓶修复技术—电池破壳为什么总是修补不了
隔离开关的额定电流怎么计算出来
小米6和小米6plus：外形或超越友商2年！价格超过1999元
关于边缘计算和边云协同你了解的有多少
300mm晶圆厂将成为半导体行业主要新增生产线
智能驾驶如今渐渐成为汽车的一个常见功能，它增强了汽车和驾驶员的感知能力，降低了驾驶员的工作强度，同时可以有效提高行车的安全性。这其中，基于cmos 图像传感器的摄像头是智能驾驶系统感知外界环境的主要工具之一。
cmos图像传感器是成像sensor，它本质上是一个存储器和模数转换（adc）的组合。基于硅的光电效应，入射光线会在传感器像素的感光二极管中激发电荷，电荷被收集存储，经过adc转换为数字输出。
图1 光电效应 从架构上看，cmos图像传感器类似于一个存储器memory，它有大量存储单元，支持行和列的寻址操作，区别在于存储器是电路写入内容，而sensor中的内容是可见光或近红外光线写入的。传感器收集到的电荷包括两部分：一部分是我们期望的电荷，来源于环境光线所激发的有效信号；另一部分是用户不希望的干扰产生的电荷，干扰来源有很多种，一般统称为噪声。
我们希望图像中的有效信息越多越好，干扰噪声越少越好。一个常见的衡量图像噪声效果的指标是信噪比snr，即信号与噪声的比值。信噪比越大，图像噪声相对含量越少，图像质量越好。snr的单位可以是比值，也可以转成对数单位db。
cmos sensor的数据手册一般都会提供信噪比参数snr，如下所示。
有一个常见的问题：46db信噪比的sensor是不是比43db的sensor低照效果更好？答案是未必，脱离条件的结论往往会掉到坑里。
snr不是一个点，它是光照条件的函数，如图2，snr会随着光照强度变化变成一条曲线。当它作为低照效果指标时，要求选取低照条件下的snr值。而业内sensor数据手册上的snr参数通常是snr最大值，对应于光照环境非常明亮时的snr值，即图中蓝色snr曲线右上角的snr max点。而蓝线位于左下角区域的snr值才适合作为评估低照的参数，此时的光照不足，对应于低照环境。这就像卖苹果，放在上面一层是最好的，你需要翻开篮子，看看里面苹果的质量如何。
图2 信噪比snr曲线
依据最大snr点来评判sensor有以偏概全的问题。根据需要，用户可以选取特定曝光条件exposure对应的snr大小来评判低照噪声，snr越大越好；也可以限定snr为某个固定值，例如snr=5时，用此时需要的曝光条件exposure值大小来评判低照噪声，exposure值越小意味着达到同等snr时需要的光照资源越少，sensor的低照性能越好。
图2显示的是普通sensor的snr，是单调递增的曲线。汽车上使用的cmos sensor，为了匹配全天候应用场景，需要很高的动态范围hdr，hdr常用方法是改变sensor的灵敏度，对环境的不同亮度分别采样，再把多次采样的图像帧映射到标准化的线性数据空间，最后从不同灵敏度帧中选取合适像素，拼成一张完整的图像帧，参见《车用图像传感器参数小议——动态范围》。
sensor的灵敏度变化，对应于坐标系中的snr线移动到不同的位置，最终hdr图像的snr曲线演变成多条snr曲线的拟合结果，例如图3的蓝线，它不再是一条单调递增曲线，除了低照snr会很小以外，高亮区间还会出现多个局部极小值，当工作点落在snr跌落区间时，即便此时环境很亮，噪声也会恶化。
这在图像上会出现一个违背人眼感知习惯的现象，即随着亮度增强，图像的质量会从差到好，然后又突然恶化的情况。因此与传统线性sensor不同，车用宽动态sensor的信噪比还需要评估高亮条件下的极小值指标。
图3 hdr图像的snr
图4 snr和噪声 车用sensor的snr是一条非单调的曲线，汽车应用环境会让问题变得更复杂。sensor是一个模拟器件，在adc之前，信号和噪声数据是以电荷的形式存储的，sensor的暗电流也会累积电荷，其产生速度大致上与曝光时长成正比，与温度呈指数关系。所以我们还必须考虑温度，曝光时长以及模拟增益对暗态噪声的影响。snr同时是温度，曝光时间和模拟增益的函数，它的曲线已经变成多维的曲线簇了。
以温度影响为例，图5是snr=10时需要的exposure值随sensor内部温度升高的变化趋势，我们可以看到，不同sensor对温漂的敏感度是不一样的，这两个sensor的snr曝光值在60°c时发生交叉，意味着在室温25℃和高温80℃分别评估时，得出的snr结论截然相反。
图5 晶圆内部温度影响 按照车用摄像头有效使用生命周期的温度分布，超过88%的生命周期内，sensor内部的节温超过40℃，超过80%时间内节温超过60℃，超过65%时间内节温超过80℃。
温漂影响会导致snr曲线发生进一步变化。如图6红色虚线示意，当温度升高后，snr曲线在低照区域和高亮局部区域会继续下跌。
图6 温度对hdr snr影响 目前业内对车用图像传感器snr的评估，常采用欧洲机器视觉协会的emva1288标准来测试。emva1288标准中的信噪比snr，是基于传统单调的线性sensor模型来定义的，对于车用宽动态图像传感器 snr特性的描述并不完善。电气与电子工程师协会ieee正在为汽车影像定义新的质量测试标准p2020，作为工作组成员之一，安森美公司承担了ieee p2020标准中图像噪声标准的起草工作，其中就包括了snr参数。
最后总结一下，车用cmos图像传感器的信噪比snr是一个关键的图像质量指标，它具有非单调特性，受到汽车应用环境的多因素影响，对snr的评估是一个多维的综合评判工作，客观全面的snr评价才能真实描述sensor的性能，正确指导车用成像产品的开发工作。
两场主题研讨会报名随着汽车的连接性越来越强，并向自动驾驶迈进，安全性比以往任何时候都更重要。安森美对汽车应用和趋势的了解，加上在图像感知方面的工程专长，助力客户能够开发出下一代产品，以迈向彻底消除交通死亡和重伤的 「零愿景 」 战略。 安森美新一代 hyperlux 传感器提供 300 万像素、800 万像素、以及更高像素选择，能够捕捉 150db 超高动态范围（hdr）图像，单次曝光无闪烁动态范围 120db。
直播主题 利用汽车图像传感器向更安全的道路迈进
直播时间 2023年8月22日 1030
专家介绍
kandy xiong安森美现场应用工程师 kandy xiong负责华南地区客户汽车图像传感器的推广工作，他在图像传感器架构、汽车图像应用方案拥有近15年丰富专业经验。
扫描二维码免费预约直播
直播主题 安森美车用图像传感器发展趋势与应用
直播时间 2023年9月7日 1000
专家介绍
burton ho安森美fae burton ho拥有将近20年的图像相关工作经验,熟悉图像soc平台等，搭配接洽过许多国际大厂项目，目前负责安森美智能感知部门的车用及消费型产品技术支持。
扫描二维码免费预约直播
笔记本电脑怎么选？11代酷睿处理器让你摆脱选择困难症
西门子SMARTP通过MODBUS RTU实现一主多从的步骤
把稳舵 发展前景自然来
基于Sentinel实现历史监控数据回看
!销售/回收HP8672A信号源HP 8672A小兵/孟S1
车用图像传感器参数小议——信噪比知多少？
特斯拉汽车租赁业务比例下降，与二手车转售价值疲软有关
存放电池电量计DS2780参数-Storing Batter
日本无线送电技术将进入实用化阶段
自动驾驶的发展起源以及DARPA时的计算机视觉
新款221系列导线连接器上市：适于Ex防爆应用，更简单、快速、可靠
工业领域自动驾驶的春天到来 安全生产问题必须要十分重要
简易光控电路图实物图
通用航空相关政策赋能行业发展，黑龙江省是中国通用航空业之王
河道流量在线监测系统实时监测河道流量
电瓶修复技术—电池破壳为什么总是修补不了
隔离开关的额定电流怎么计算出来
小米6和小米6plus：外形或超越友商2年！价格超过1999元
关于边缘计算和边云协同你了解的有多少
300mm晶圆厂将成为半导体行业主要新增生产线