前面有提到了,摄像头出来的信号一定要经过isp处理,那isp要怎么处理这些信号,有哪些处理,这些其实都是涉及到色彩相关的内容,首先我们进行色彩相关内容的科普,然后再讲解isp怎么处理这些信号。
camera sensor效果的调整,涉及到众多的参数,如果对基本的光学原理及sensor软/硬件对图像处理的原理能有深入的理解和把握的话,对我们的工作将会起到事半功倍的效果。否则,缺乏了理论的指导,只能是凭感觉和经验去碰,往往无法准确的把握问题的关键,不能掌握sensor调试的核心技术,无法根本的解决问题。
色彩原理
人眼对色彩的识别,是基于人眼对光线存在三种不同的感应单元,不同的感应单元对不同波段的光有不同的响应曲线的原理,通过大脑的合成得到色彩的感知。一般来说,我们可以通俗的用rgb三基色的概念来理解颜色的分解和合成。
理论上,如果人眼和sensor对光谱的色光的响应,在光谱上的体现如下的话,基本上对三色光的响应,相互之间不会发生影响,没有所谓的交叉效应。
但是,实际情况并没有如此理想,下图表示了人眼的三色感应系统对光谱的响应情况。可见rgb的响应并不是完全独立的。
下图则表示了某kodak相机光谱的响应。可见其与人眼的响应曲线有较大的区别。
sensor的色彩感应的校正
既然我们已经看到sensor对光谱的响应,在rgb各分量上与人眼对光谱的响应通常是有偏差的,当然就需要对其进行校正。不光是在交叉效应上,同样对色彩各分量的响应强度也需要校正。通常的做法是通过一个色彩校正矩阵对颜色进行一次校正。
该色彩校正的运算通常是由sensor模块集成或后端的isp完成,软件通过修改相关寄存器得到正确的校正结果。值得注意的一点是,由于rgb -》 yuv的转换也是通过一个3*3的变换矩阵来实现的,所以有时候这两个矩阵在isp处理的过程中会合并在一起,通过一次矩阵运算操作完成色彩的校正和颜色空间的转换。
颜色空间及变化
实际上颜色的描述是非常复杂的,比如rgb三基色加光系统就不能涵盖所有可能的颜色,出于各种色彩表达,以及色彩变换和软硬件应用的需求,存在各种各样的颜色模型及色彩空间的表达方式。这些颜色模型,根据不同的划分标准,可以按不同的原则划分为不同的类别。
匹配任意可见光所需的三原色光比例曲线
对于sensor来说,我们经常接触到的色彩空间的概念,主要是rgb , yuv这两种(实际上,这两种体系包含了许多种不同的颜色表达方式和模型,如srgb, adobe rgb, yuv422, yuv420 …), rgb如前所述就是按三基色加光系统的原理来描述颜色,而yuv则是按照 亮度,色差的原理来描述颜色。
不比其它颜色空间的转换有一个标准的转换公式,因为yuv在很大程度上是与硬件相关的,所以rgb与yuv的转换公式通常会多个版本,略有不同。
常见的公式如下:
y=0.30r+0.59g+0.11b
u=0.493(b - y) = - 0.15r - 0.29g +0.44b
v=0.877(r - y) = 0.62r - 0.52g - 0.10b
但是这样获得的yuv值存在着负值以及取值范围上下限之差不为255等等问题,不利于计算机处理,所以根据不同的理解和需求,通常在软件处理中会用到各种不同的变形的公式,这里就不列举了。
体现在sensor上,我们也会发现有些sensor可以设置yuv的输出取值范围。原因就在于此。
从公式中,我们关键要理解的一点是,uv 信号实际上就是蓝色差信号和红色差信号,进而言之,实际上一定程度上间接的代表了蓝色和红色的强度,理解这一点对于我们理解各种颜色变换处理的过程会有很大的帮助。
Zcash需要什么才能变得更加主流
便携式短路接地线的技术要求与使用方法
莱尔德--TIM Print™, 全新自动化印装工艺技术
TCL发布最新产品BCD-455WBEPFC2冰箱,拥有455升的超大容量
使用独立于核心的外设设计具有成本效益的药物输送装置
探究自动驾驶传感器之车载摄像色彩感应及校正
2020年我国“互联网+”医疗市场规模将同比增长50.5%
天数智芯的7纳米GPGPU云端芯片正式进入流片阶段
2.4G集成MCU的合封芯片,功能究竟有多强大?
兆易创新即将亮相2023国际数字能源展
不得不关注的六个LED照明技术细节
全国首条智慧地下电缆线路的监控信息正式接入
助力低碳,深耕低温锡膏技术引领行业工艺发展
有哪些平价的蓝牙耳机?四款适合学生的平价蓝牙耳机推荐
冠层分析仪的作用是什么,它有哪些应用
传感器前级信号处理
UWB室内定位高精度定位应用的宠儿
ADI新数字隔离器封装确保医疗和工业应用安全
基于A2DP框架的近距离无线音频通信研究
联发科公布第三季财报 营收达670亿元并表示对AI的投入已有相当的成果