数字式CMOS摄像头在智能车中的应用
引言
飞思卡尔智能车比赛已经成功举办4届，以摄像头为主要传感器的参赛队伍大多数选用了模拟ccd或模拟cmos摄像头。本文介绍了数字式cmos摄像头mt9m011的性能特点和工作方式，给出了mt9m011在基于hcsl2单片机的智能车控制系统中的应用方案，并分析了数字摄像头的优势和不足。
1 cmos图像传感器的特点
cmos图像传感器可通过cmos技术将像素阵列与外围支持电路(如图像传感器核心、单一时钟、所有的时序逻辑、可编程功能和a／d转换器)集成在同一块芯片上。与ccd(电容耦合器件)图像传感器相比，cmos图像传感器将整个图像系统集成在一块芯片上，具有体积小、重量轻、功耗低、编程方便、易于控制等优点；同时，可通过i2c、spi等接口配置其曝光时间、增益控制等功能，可控性强。因此，cmos图像传感器的应用已经变得越来越广泛。
2 mt9m011的性能特点与工作方式
2．1 mt9m011的基本参数
mt9m011是一款：mieron公司推出的rgb三基色的130万像素数字式cmos摄像头，具有可编程控制及数字信号输出等功能。其输出为bayer彩色格式，图像尺寸为4．6 mm×3．7 mm，像素尺寸为3．6 μm×3．6 μm，最大分辨率为1 280×1 024，支持的最高时钟频率为25mhz；a／d转换精度为10位，最大信噪比为44 db，在最高分辨率模式下功耗为129 mw。
mt9m011输出为逐行扫描的数字信号，通过内嵌的10位adc将模拟视频信号采样量化后同步输出10位数据流。同时，mt9m011还提供像素时钟(pixclk)、行有效信号(lval)、帧有效信号(fval)，以及配置mt9m011所需的i2c协议引脚sclk和sdat。
2．2 mt9m011的编程功能
mt9m011有25个寄存器，涉及摄像头的各个方面，通过与i2c兼容的串行总线时序读写。结合智能车竞赛应用重点介绍以下寄存器：
①行起始寄存器(ox01)和列起始寄存器(ox02)。这两个寄存器决定输出图像的起始点坐标。利用这两个寄存器可以软件调节摄像头采集到的图像整体位置。
②行宽度寄存器(0x03)和列宽度寄存器(ox04)。mt9m011的一大特色就是输出数据的图像大小可以任意调整。通过这两个寄存器可以针对当前的应用环境(即赛道)设置合适的图像范围。
③曝光时间寄存器(ox09)。该寄存器的值决定了摄像头采集一帧图像时感光元器件的感光时间。通过调整该寄存器值的大小可以直接调整图像的成像质量。
④数据读取模式寄存器(ox20)。该寄存器可以使输出的行数据和列数据减少至1／2或者1／4，也可以使输出的图像镜面对称。
⑤增益设置寄存器。它又包含greenl分量增益设置寄存器(ox2b)、blue分量增益设置寄存器(ox2c)、red分量增益设置寄存器(ox2d)、green2分量增益设置寄存器(ox2e)和全局增益设置寄存器(ox2f)5个寄存器。由于rgb分量对同一光源表现出不同的数值，因此需要针对不同的光源情况分别调整前4个寄存器的值，而这也是这款摄像头最大的缺点。
2．3 mt9m011的数字图像输出
2．3．1 bayer彩色格式输出
mt9m011的输出为bayer彩色格式(bayer color pattern)。这种输出格式直接将滤波阵列上每一个像素点对应的保留基色模拟电平值，通过a／d转换后按时序先后输出。图1展示了这种输出格式对应的局部像素点阵。其中，黑色像素点为输出有效数据的第一个点。
2．3．2 mt9m011的输出信号时序
像素数据输出时序和帧与行有效信号时序分别如图2和图3所示。像素时钟与主时钟同频，在一帧图像开始输出时帧有效信号由低电平变为高电平，一帧输出结束时由高电平变为低电平；而行有效信号则在一行数据输出有效时由低电平变为高电平，一行数据输出完成后由高电平变为低电平。根据mt9m0ll的输出信号时序就能正确地采集整帧图像。图3中，p为帧消隐区，a为有效数据区，q为行消隐区。
3 mt9m011在智能车控制系统中的应用
3．1 硬件设计
mt9m011的电平是3．3 v，而hcsl2单片机系统的i／o电平是5 v，因此需要通过电平转换芯片将摄像头输出数据的电平提升到5v。结合mt9m011的输出信号时序关系和hcsl2单片机的特点，本文利用hcsl2的ect模块提取mt9m011的帧有效信号的上升沿，采用ect模块对应引脚的普通i／o口功能采集行有效信号的上升沿。mt9m011的数据输出信号有10位，鉴于赛道环境相对简单，只截取高8位作为摄像头信号输出，既可以保证图像分辨率，又可节省hcsl2的存储空间。hcsl2单片机本身带有一个标准的i2c模块，直接使用这个模块与mt9m011的sclk和sdat相接。
3．2 软件设计
3．2．1 hcsl2单片机i2c模块配置
hcsl2单片机提供标准的i2c模块，sclk引脚能产生多种时钟频率，支持主从模式，设有多种标志位以供查询。初始化i2c模块时需要完成以下工作：
①设置ibfd寄存器，使产生的sclk信号能够对mt9m011进行正常的配置；
②设置iben寄存器位，使能i2c模块；
③设置ibcr，确定i2c模块的主、从模式，收、发模式以及是否使能中断功能等。
3．2．2 mt9m011图像数据采集
受限于单片机时钟的约束关系，hcsl2的通用i／o口无法检测摄像头像素时钟信号跳变，本文采取以固定周期采集一行数据的方法。因此，采集像素数据的关键是准确地采集帧有效信号的上升沿和行有效信号的上升沿。选用的方案是：使用hcsl2单片机的ect模块采集帧有效信号的上升沿，使用ect模块普通端口模式采集行有效信号的上升沿。
采集对象要求纵、横分辨率都不能过低，而hcsl2内部存储空间有限，无法为高分辨率提供有利支持。针对这一矛盾，利用一个像素
与其周围点的值的关联性，以及摄像头所具有的隔行和隔列输出功能进行跳采集。确定了1 280x 480的分辨率和行列均跳4行采集的模式，
同时软件上再进行一次隔行采集，最终可得80×60=4 800个像素数据。采集数据的流程如图4所示。
3．2．3 采集图像时遇到的问题及解决方法
(1)摄像头晶振的选择
mt9m011晶振的选择是一个很重要的问题，如果一帧图像的时间超过20 ms，就无法体现它的主要优势。同时，也要考虑到hcsl2单片机的限制，hcsl2的总线频率最大可达到32 mhz，而在此条件下如果mt9m011的晶振选取过大，则每一行采集到的点数过少。
通过式(1)可计算出mt9m011输出一帧图像所需的时间：
式中：colnum+hblanking和rownum+vblanking分别表示包含空白数据的总列数和总行数；fcamera表示摄像头晶振频率，在一帧图像大小已经确定的情况下，该值越大则一帧时间越短。
通过式(2)可计算出单片机一行采集像素点的个数：
式中：rowpixnum表示一行能采集到的数据；colnum表示每一行中输出的像素数据个数；tcamera是摄像头晶振，fcamera的倒数；cycle表示一个采集周期使用的机器周期数，在整个采集过程中固定不变的；fbus表示单片机的总线周期。从式(2)可知，在fbus一定的情况下，camera越小，则一行采集到的数据就越少，这样不利于数据分析。
综合考虑，最终确定使用8 mhz的晶振作为mt9m011的时钟，而采用16 mhz晶振作为hcsl2的时钟，单行采集80个点，可满足路径识别的需要。
(2)摄像头曝光时间和增益的设置问题mt9m011是一款rgb三基色的彩色摄像头，采集到的数据为bayer彩色格式。由于提取的是赛道上的黑线信息，图像环境相对简单，因此这里直接将每一个分量的值作为该点像素的灰度值处理。
如图5(a)所示，在使用默认曝光时间和增益时采集得到的图像有明显的隔行噪声效应，而且在一行间也有明显的干扰噪声存在。这是因为同一光源对于rgb三种分量所体现出的数值不同，直接将其当作灰度值处理会产生恢复的图像不均匀、噪声大的现象。解决办法是通过多次
实践调整摄像头的曝光时间和rgb每个分量的增益值，使3个分量在同一光源下反应出的数值基本一致。经过调整后得到的图像如图5(b)所示。
4 数字式cmos摄像头与模拟摄像头比较
数字式cmos摄像头mt9m011最大的优势在于节约时间。选用合适的晶振及图像大小能将整个小车控制周期限制在20ms左右。笔者曾经做过实验，选用20mhz的晶振作为摄像头时钟，将单片机倍频到32 mhz。在这种条件下，一个控制周期的反应时间甚至能缩短到4ms左右，与模拟摄像头的40 ms一帧图像相比有明显的优势。mt9m011的另一个优势是图像大小可以任意设置，因此笔者可以软件调整图像的大小和视野的高度，且mt9m011与单片机接口简单，很大程度上减轻了硬件负担。
mt9m011在智能车比赛应用中也具有一些缺点。它不能自动适应各种光源，需要人工进行调整；同时，它的动态特性不如ccd摄像头好，这点可以通过提高摄像头晶振时钟来缩短采集周期解决。
结语
本文介绍了数字式cmos摄像头mt9moll在基于hcsl2单片机的智能车中的应用，并针对数字摄像头与模拟摄像头的各自特点进行了比较。实践表明，选用数字式cmos摄像头作为智能车路径识别传感器是可行的。
欧姆龙推出NX1机械自动化控制器，实现制造业发展的各种应用
高镍三元材料的技术发展趋势是怎样的
信步科技OPS-3855U规格
5gnsa和sa是什么意思？5gnsa与sa区别
科研员研发出基于CQD和发色团混合体系结构的太阳能电池
数字式CMOS摄像头在智能车中的应用
Silentium利用Blackfin将有源噪声消除技术推广
2018年医疗器械行业现状 国产化仍待提升仍以中低端为主
三相油浸式配电变压器巡视过程
“中国科技创新政策40年——回顾与反思”主题发表演讲
中国移动公布了2019年至2020年Ⅰ类铅酸蓄电池产品集采中标结果
vivoTOF3D超感应技术全面解读
LG发布全球最大OLED电视面板
电池电量计的应用设计
直列式电机电流感应使用增强型PWM抑制的五大优势分享
掌控5G网络：VIAVI扩展O-RAN测试套件功能
电源技术的进步：功率因数校正PFC，提高电能源利用率
基于新的ARkit 2.0又想出了一个新玩法——用双眼来代替手指，直接“操作”iPhone
区块链如何解决制造业的固有痛点
接触器是什么？继电器是什么？接触器和继电器的区别是什么？
飞思卡尔智能车比赛已经成功举办4届，以摄像头为主要传感器的参赛队伍大多数选用了模拟ccd或模拟cmos摄像头。本文介绍了数字式cmos摄像头mt9m011的性能特点和工作方式，给出了mt9m011在基于hcsl2单片机的智能车控制系统中的应用方案，并分析了数字摄像头的优势和不足。
1 cmos图像传感器的特点
cmos图像传感器可通过cmos技术将像素阵列与外围支持电路(如图像传感器核心、单一时钟、所有的时序逻辑、可编程功能和a／d转换器)集成在同一块芯片上。与ccd(电容耦合器件)图像传感器相比，cmos图像传感器将整个图像系统集成在一块芯片上，具有体积小、重量轻、功耗低、编程方便、易于控制等优点；同时，可通过i2c、spi等接口配置其曝光时间、增益控制等功能，可控性强。因此，cmos图像传感器的应用已经变得越来越广泛。
2 mt9m011的性能特点与工作方式
2．1 mt9m011的基本参数
mt9m011是一款：mieron公司推出的rgb三基色的130万像素数字式cmos摄像头，具有可编程控制及数字信号输出等功能。其输出为bayer彩色格式，图像尺寸为4．6 mm×3．7 mm，像素尺寸为3．6 μm×3．6 μm，最大分辨率为1 280×1 024，支持的最高时钟频率为25mhz；a／d转换精度为10位，最大信噪比为44 db，在最高分辨率模式下功耗为129 mw。
mt9m011输出为逐行扫描的数字信号，通过内嵌的10位adc将模拟视频信号采样量化后同步输出10位数据流。同时，mt9m011还提供像素时钟(pixclk)、行有效信号(lval)、帧有效信号(fval)，以及配置mt9m011所需的i2c协议引脚sclk和sdat。
2．2 mt9m011的编程功能
mt9m011有25个寄存器，涉及摄像头的各个方面，通过与i2c兼容的串行总线时序读写。结合智能车竞赛应用重点介绍以下寄存器：
①行起始寄存器(ox01)和列起始寄存器(ox02)。这两个寄存器决定输出图像的起始点坐标。利用这两个寄存器可以软件调节摄像头采集到的图像整体位置。
②行宽度寄存器(0x03)和列宽度寄存器(ox04)。mt9m011的一大特色就是输出数据的图像大小可以任意调整。通过这两个寄存器可以针对当前的应用环境(即赛道)设置合适的图像范围。
③曝光时间寄存器(ox09)。该寄存器的值决定了摄像头采集一帧图像时感光元器件的感光时间。通过调整该寄存器值的大小可以直接调整图像的成像质量。
④数据读取模式寄存器(ox20)。该寄存器可以使输出的行数据和列数据减少至1／2或者1／4，也可以使输出的图像镜面对称。
⑤增益设置寄存器。它又包含greenl分量增益设置寄存器(ox2b)、blue分量增益设置寄存器(ox2c)、red分量增益设置寄存器(ox2d)、green2分量增益设置寄存器(ox2e)和全局增益设置寄存器(ox2f)5个寄存器。由于rgb分量对同一光源表现出不同的数值，因此需要针对不同的光源情况分别调整前4个寄存器的值，而这也是这款摄像头最大的缺点。
2．3 mt9m011的数字图像输出
2．3．1 bayer彩色格式输出
mt9m011的输出为bayer彩色格式(bayer color pattern)。这种输出格式直接将滤波阵列上每一个像素点对应的保留基色模拟电平值，通过a／d转换后按时序先后输出。图1展示了这种输出格式对应的局部像素点阵。其中，黑色像素点为输出有效数据的第一个点。
2．3．2 mt9m011的输出信号时序
像素数据输出时序和帧与行有效信号时序分别如图2和图3所示。像素时钟与主时钟同频，在一帧图像开始输出时帧有效信号由低电平变为高电平，一帧输出结束时由高电平变为低电平；而行有效信号则在一行数据输出有效时由低电平变为高电平，一行数据输出完成后由高电平变为低电平。根据mt9m0ll的输出信号时序就能正确地采集整帧图像。图3中，p为帧消隐区，a为有效数据区，q为行消隐区。
3 mt9m011在智能车控制系统中的应用
3．1 硬件设计
mt9m011的电平是3．3 v，而hcsl2单片机系统的i／o电平是5 v，因此需要通过电平转换芯片将摄像头输出数据的电平提升到5v。结合mt9m011的输出信号时序关系和hcsl2单片机的特点，本文利用hcsl2的ect模块提取mt9m011的帧有效信号的上升沿，采用ect模块对应引脚的普通i／o口功能采集行有效信号的上升沿。mt9m011的数据输出信号有10位，鉴于赛道环境相对简单，只截取高8位作为摄像头信号输出，既可以保证图像分辨率，又可节省hcsl2的存储空间。hcsl2单片机本身带有一个标准的i2c模块，直接使用这个模块与mt9m011的sclk和sdat相接。
3．2 软件设计
3．2．1 hcsl2单片机i2c模块配置
hcsl2单片机提供标准的i2c模块，sclk引脚能产生多种时钟频率，支持主从模式，设有多种标志位以供查询。初始化i2c模块时需要完成以下工作：
①设置ibfd寄存器，使产生的sclk信号能够对mt9m011进行正常的配置；
②设置iben寄存器位，使能i2c模块；
③设置ibcr，确定i2c模块的主、从模式，收、发模式以及是否使能中断功能等。
3．2．2 mt9m011图像数据采集
受限于单片机时钟的约束关系，hcsl2的通用i／o口无法检测摄像头像素时钟信号跳变，本文采取以固定周期采集一行数据的方法。因此，采集像素数据的关键是准确地采集帧有效信号的上升沿和行有效信号的上升沿。选用的方案是：使用hcsl2单片机的ect模块采集帧有效信号的上升沿，使用ect模块普通端口模式采集行有效信号的上升沿。
采集对象要求纵、横分辨率都不能过低，而hcsl2内部存储空间有限，无法为高分辨率提供有利支持。针对这一矛盾，利用一个像素
与其周围点的值的关联性，以及摄像头所具有的隔行和隔列输出功能进行跳采集。确定了1 280x 480的分辨率和行列均跳4行采集的模式，
同时软件上再进行一次隔行采集，最终可得80×60=4 800个像素数据。采集数据的流程如图4所示。
3．2．3 采集图像时遇到的问题及解决方法
(1)摄像头晶振的选择
mt9m011晶振的选择是一个很重要的问题，如果一帧图像的时间超过20 ms，就无法体现它的主要优势。同时，也要考虑到hcsl2单片机的限制，hcsl2的总线频率最大可达到32 mhz，而在此条件下如果mt9m011的晶振选取过大，则每一行采集到的点数过少。
通过式(1)可计算出mt9m011输出一帧图像所需的时间：
式中：colnum+hblanking和rownum+vblanking分别表示包含空白数据的总列数和总行数；fcamera表示摄像头晶振频率，在一帧图像大小已经确定的情况下，该值越大则一帧时间越短。
通过式(2)可计算出单片机一行采集像素点的个数：
式中：rowpixnum表示一行能采集到的数据；colnum表示每一行中输出的像素数据个数；tcamera是摄像头晶振，fcamera的倒数；cycle表示一个采集周期使用的机器周期数，在整个采集过程中固定不变的；fbus表示单片机的总线周期。从式(2)可知，在fbus一定的情况下，camera越小，则一行采集到的数据就越少，这样不利于数据分析。
综合考虑，最终确定使用8 mhz的晶振作为mt9m011的时钟，而采用16 mhz晶振作为hcsl2的时钟，单行采集80个点，可满足路径识别的需要。
(2)摄像头曝光时间和增益的设置问题mt9m011是一款rgb三基色的彩色摄像头，采集到的数据为bayer彩色格式。由于提取的是赛道上的黑线信息，图像环境相对简单，因此这里直接将每一个分量的值作为该点像素的灰度值处理。
如图5(a)所示，在使用默认曝光时间和增益时采集得到的图像有明显的隔行噪声效应，而且在一行间也有明显的干扰噪声存在。这是因为同一光源对于rgb三种分量所体现出的数值不同，直接将其当作灰度值处理会产生恢复的图像不均匀、噪声大的现象。解决办法是通过多次
实践调整摄像头的曝光时间和rgb每个分量的增益值，使3个分量在同一光源下反应出的数值基本一致。经过调整后得到的图像如图5(b)所示。
4 数字式cmos摄像头与模拟摄像头比较
数字式cmos摄像头mt9m011最大的优势在于节约时间。选用合适的晶振及图像大小能将整个小车控制周期限制在20ms左右。笔者曾经做过实验，选用20mhz的晶振作为摄像头时钟，将单片机倍频到32 mhz。在这种条件下，一个控制周期的反应时间甚至能缩短到4ms左右，与模拟摄像头的40 ms一帧图像相比有明显的优势。mt9m011的另一个优势是图像大小可以任意设置，因此笔者可以软件调整图像的大小和视野的高度，且mt9m011与单片机接口简单，很大程度上减轻了硬件负担。
mt9m011在智能车比赛应用中也具有一些缺点。它不能自动适应各种光源，需要人工进行调整；同时，它的动态特性不如ccd摄像头好，这点可以通过提高摄像头晶振时钟来缩短采集周期解决。
结语
本文介绍了数字式cmos摄像头mt9moll在基于hcsl2单片机的智能车中的应用，并针对数字摄像头与模拟摄像头的各自特点进行了比较。实践表明，选用数字式cmos摄像头作为智能车路径识别传感器是可行的。
欧姆龙推出NX1机械自动化控制器，实现制造业发展的各种应用
高镍三元材料的技术发展趋势是怎样的
信步科技OPS-3855U规格
5gnsa和sa是什么意思？5gnsa与sa区别
科研员研发出基于CQD和发色团混合体系结构的太阳能电池
数字式CMOS摄像头在智能车中的应用
Silentium利用Blackfin将有源噪声消除技术推广
2018年医疗器械行业现状 国产化仍待提升仍以中低端为主
三相油浸式配电变压器巡视过程
“中国科技创新政策40年——回顾与反思”主题发表演讲
中国移动公布了2019年至2020年Ⅰ类铅酸蓄电池产品集采中标结果
vivoTOF3D超感应技术全面解读
LG发布全球最大OLED电视面板
电池电量计的应用设计
直列式电机电流感应使用增强型PWM抑制的五大优势分享
掌控5G网络：VIAVI扩展O-RAN测试套件功能
电源技术的进步：功率因数校正PFC，提高电能源利用率
基于新的ARkit 2.0又想出了一个新玩法——用双眼来代替手指，直接“操作”iPhone
区块链如何解决制造业的固有痛点
接触器是什么？继电器是什么？接触器和继电器的区别是什么？