CPLD在DSP多分辨率图像采集系统中的应用
视频采集系统是数字图像获取的最基本手段，是进行数字图像处理、多媒体和网络传输的前提，它可为各种图像处理算法提供待处理的原始数字图像和算法验证平台。随着图像数字化处理技术的高速发展，对图像采集的要求也越来越高，这包括对采集图像的速度、主观质量、灵活性等等的要求。针对这种发展的趋势，设计了一种基于cpld和dsp器件的多分辨率图像采集处理系统，重点介绍了cpld在采集过程中逻辑控制的灵活应用。
2 系统方案设计
根据系统要求，采取了独立采集法，采用专用图像采集芯片自动完成图像的采集，除了对采集模式进行设定外，处理器不参与采集过程，这种方法的特点是不占用cpu的时间、实时性好、适合活动图像的采集。系统设计流程如下：dsp发开始采集指令，a./d开始采集，将a/d输出的控制、状态信号接入cpld，由cpld控制将转换后的数字信号存储到高速大容量sram（odd和even）中，直到一帧图像数据存储完毕后，其间cpld产生sram地址、sram读写信号、中断信号、总线切换信号等等；cpld交出总线控制权，dsp占用总线从sram中读出图像数据进行处理。限于篇幅，本文重点介绍cpld在数据采集中的灵活设计。系统结构如下图所示：
图1：系统结构框图
3 系统硬件设计
本系统dsp采用ti公司生产的54x系列中的tms320vc5416，cpld是altera公司max7000系列中的epm7128a。a/d芯片选用飞利浦公司出品的saa7111a视频a/d转换芯片，这里利用dsp多通道缓冲串行口mcbsp来模拟i2c总线时序对saa7111a进行初始化。
3.1 数据采集的逻辑功能设计
本设计方案通过利用cpld控制视频采集芯片saa7111a实现行、场数据延时[2]，并分奇、偶场数据分离存放，dsp选择读取采集到的奇、偶场数据统一或分别进行处理，从而得到多分辨率图像数据。将saa7111a产生的控制信号和状态信号与cpld连接，即把垂直同步信号vref、水平同步信号href、奇偶场标志信号rts0、片选信号ce、场同步信号vs、象素同步信号llc2等连接到cpld上，cpld通过这些控制和状态信号进行译码和产生存储地址等操作。垂直同步信号vref的两个正脉冲之间为扫描一帧（帧扫描方式）或一场（场扫描方式）的定时，即完整的一帧或一场图像在两个正脉冲之间扫描完。水平同步信号href为扫描该帧或该场图像中各行象素的定时，即高电平时为扫描一行象素的有效时间。若当前图像窗口大小为640×480，则在vref两个正脉冲之间有480个href的正脉冲，即480行；在每个href正脉冲期间有640个llc2正脉冲，即每行640个象素，即vref、href、llc2这三个同步信号之间的关系。
为了体现本系统多分辨率的特点，需要改变saa7111a的默认采样分辨率，通过cpld的逻辑控制就可以得到多分辨率图像数据。本文选择从默认分辨率720×625到设定分辨率640×480的采集，因此就需要进行、场延迟，舍弃部分像素。通过写saa7111a中i2c寄存器行同步开始寄存器(子地址06)和行同步结束寄存器(子地址07)可以直接控制行同步有效时间，因此可以省略行延迟电路设计，而场延迟是在cpld中实现。
逻辑功能设计大体分为以下几个部分：dsp与cpld的总线切换逻辑；场延迟部分（href的下降沿进行计数器设计）；llc2控制的sram地址产生部分；sram片选信号、写信号以及同步时钟选择时序控制部分。其中cpld和dsp之间的总线管理是设计中的难点。图像采集时序如下图所示。
图2：图像采集时序图
具体描述如下：置低dsp的xf引脚产生start采集启动信号，它向cpld发出图像采集命令，当vs上升沿来临时，如果rts0为低电平，则表明是奇场即将到来，产生odd高电平信号，对odd取反再与dsp输出的nps相或后用作sram (odd)的片选信号cs_odd。在vref上升沿时刻，启动场延迟计数器，场延迟是在cpld中实现的，从每帧625行到480行需要舍弃145行(奇、偶场各采集240行)，在cpld中利用行同步参考信号href进行计数器设计（href<240）。场延迟结束时，置高href145信号，有效图像数据采集开始接受，当vref出现下降沿时，置低href145信号，奇场图像采集完成；如果rts0为高电平，则表明偶场即将到来，产生even高电平信号，对even取反再与dsp输出的nps相或后用作sram (even)的片选信号cs_even，场延迟仍然利用行同步参考信号href进行计数器设计（href<240）来实现，场延迟结束时，置高href145信号，有效图像数据采集开始接受，当vref出现下降沿时，置低href145信号，偶场图像采集完成。此外gcswitch信号作为cpld选择内部时钟的控制信号，当gcswitch为高电平期间，表示cpld获取总线权，系统处于图像采集阶段，cpld内部时钟为llc2；当gcswitch为低电平期间，表示dsp收回总线权，系统处于图像处理阶段，此时cpld内部的时钟信号为dsp输出时钟信号clockout。奇、偶场图像存储器采用了issi公司的l0ns级256k×16高速sram，llc2时钟为13. 5mhz，即每个像素时钟大约为74.1ns，每一个llc2脉冲产生一次sram地址，相对于sram的10ns级的读写周期来说完全可以满足要求。利用llc2(约13.5mhz)时钟进行写逻辑时序控制设计如下图所示：
图3：ram(odd，even)写信号时序图
同时要注意：如果在处理完一帧图像后再采集下一帧时，图像数据已经进入了偶场或奇场，此时若开放图像采集，由于不是从图像头开始采集，所采图像将不完全，因此需要确定图像采集开始的基准。这里设计只在rts0的上升沿才检测图像采集开始信号是否产生，这样每帧图像只在rts0的上升沿才开始采集，即每次都从偶场开始，这样就避免了图像数据的混乱，保证图像的开始基准。另外，由于存放图像数据的sram（奇、偶场sram）地址是由cpld控制产生的，那么如果将saa7111a转换输出的vpo[15:0]直接存放在sram中，势必就会影响数据、地址的同步，导致不同的数据写入同一个地址，同一个数据写入不同的地址，从而造成读写错误。因此，考虑将saa7111a输出的vpo[15:0]也作为cpld的输入信号，在cpld里通过延时作同步处理后再连接到sram的数据线上，这样就可以满足时序要求使数据写入正确的地址。
3.2 总线逻辑切换设计
在前面提到了cpld和dsp之间的总线切换管理是设计中的难点，在数据采集过程cpld必须掌握总线控制权，切换到数据处理过程dsp必须掌握总线控制权。为了解决这个无缝切换问题，这里充分利用dsp的保持请求信号nhold和保持响应信号nholda来协调总线切换[3]。
通过置dsp的xf引脚为低电平，告诉cpld开始控制saa7111a进行图像采集。在dsp_xf连接到cpld为高电平（dsp_xf初始状态应该为低电平）时，cpld产生dsp_ hold总线请求切换信号，该信号连接到dsp的nhold引脚请求dsp进入保持状态，在3个机器周期后dsp做出响应：产生nholda低电平信号到cpld，而且外部数据总线、外部地址总线和控制总线都变成高阻态。此时dsp进入保持状态，cpld控制各总线操作；当一帧图像采集、存储完成后cpld产生nint中断信号通知dsp开始处理处理数据，同时并置高dsp_ hold引脚使得dsp的nhold脚也置高，并通过对cpld编程将cpld与sram连接的各个外部数据总线、外部地址总线和控制总线都置成高阻态，而在nhold置高3个机器周期后dsp外部数据总线、外部地址总线和控制总线都脱离高阻态，dsp进入正常工作状态，dsp置xf脚为高电平，收回总线控制权进行数据处理；
当dsp将处理后的一帧数据传输到上位机完成后，再次置低xf脚告诉cpld可以开始采集下一帧了，cpld产生dsp_ hold使dsp进入保持状态，外部数据总线、外部地址总线和控制总线又都变成高阻态，cpld掌握总线控制权。如此往复下去即可以解决dsp与图像采集模块的总线冲突问题，正确的切换总线逻辑保证了可以循环采集图像进行处理。
3.3 cpld逻辑功能仿真验证
通过利用cpld控制视频a/d芯片saa7111a的图像采集过程，并利用saa7111a的输出状态信号来控制cpld实现图像数据储存、时序控制、地址译码等功能。这样很好地协调了行、场参考及同步信号、像素时钟、sram读写信号和dsp控制信号之间的时序关系，保证了对sram读写操作时各信号的时序配合，很好的解决了行、场延时问题，使图像分辨率从720×625过渡到640×480，并且正确生成sram写地址，dsp中断信号以及总线切换信号的产生。
由于篇幅有限，故没有列出vhdl具体代码，现只给出仿真结果。仿真结果如下所示：
图4：循环采集处理仿真图
上面的循环采集处理仿真图就是实际系统工作时采集模块中各个信号的时序逻辑关系。从仿真图可以看出通过对cpld的编程实现了多点的行、场延时，奇偶场分离存放，从而得到多分辨率的图像数据，以及dsp中断产生、逻辑总线切换信号、下一帧的开始触发信号、奇偶场对齐信号等都能满足系统时序要求。采集一帧640×480的图像约需22.75ms，可以满足实时性的要求。 4 结论
本文设计了一种基于cpld的多分辨率图像采集系统，本文作者创新点：提出一种由cpld控制图像的行、场信号延时，奇偶数据分离存储来得到不同分辨率图像数据的方法，实现了不占用dsp资源的多分辨率图像的实时采集。经过大量仿真和电路板调试，证明该方案灵活有效，能够在工业监测、医疗诊断等图像实时采集领域得到广泛应用。
参考文献
[1] 周霖. dsp通信工程技术应用 [m]. 北京：国防工业出版社，2003.
[2] 张骏. 基于dsp和cpld的图像通信系统设计与实现 [d]. 哈尔滨：哈尔滨工程大学硕士学位论文, 2004, 2.
[3] 赵龙宝, 范天翔, 陆亨立. 基于ov5017和cpld的图像采集显示系统[j]. 微计算机信息, 2005, 21-7: 104-105.
卫星互联网竟是6G关键技术！
光耦组成的脉冲电路图原理介绍及其应用
国芯思辰｜海速芯32位MCU TM32F103K7应用于12V转220V逆变器模块，可替代STM32F103C8T6
特斯拉召回21599辆国产ModelY汽车
社会上开始出现了对于人工智能的不同看法
CPLD在DSP多分辨率图像采集系统中的应用
无菌动物房改造项目消防应急照明和疏散系统的应用
智能卡安全数据传输的工作过程
对多视觉几何中出现的运算做出分析和解释
5G开放式RAN(ORAN)详解
华为全球基站出货超50万个 领跑下一代移动
意法半导体推出即用型安全汽车进入车载系统芯片解决方案，符合车联网联盟数字车钥匙标准3.0版
合同金额超3亿! PCB上市企业的泰国新工厂开始建设
直流电机和交流电机有什么不同
中国成功发射第十一颗北斗导航卫星
华为面向商业市场推出三款产品组合，构建高质量连接
华为计划在英国剑桥建设芯片工厂,转投英国三大因素分析
OptoTest宣布可为光纤制造商提供按订单生产的OP720-Matrix MEMS 3D光交换机
任正非：今天的问题 在十多年前就有预计
基于Lab Windows/CVI7.1综合检测系统
2 系统方案设计
根据系统要求，采取了独立采集法，采用专用图像采集芯片自动完成图像的采集，除了对采集模式进行设定外，处理器不参与采集过程，这种方法的特点是不占用cpu的时间、实时性好、适合活动图像的采集。系统设计流程如下：dsp发开始采集指令，a./d开始采集，将a/d输出的控制、状态信号接入cpld，由cpld控制将转换后的数字信号存储到高速大容量sram（odd和even）中，直到一帧图像数据存储完毕后，其间cpld产生sram地址、sram读写信号、中断信号、总线切换信号等等；cpld交出总线控制权，dsp占用总线从sram中读出图像数据进行处理。限于篇幅，本文重点介绍cpld在数据采集中的灵活设计。系统结构如下图所示：
图1：系统结构框图
3 系统硬件设计
本系统dsp采用ti公司生产的54x系列中的tms320vc5416，cpld是altera公司max7000系列中的epm7128a。a/d芯片选用飞利浦公司出品的saa7111a视频a/d转换芯片，这里利用dsp多通道缓冲串行口mcbsp来模拟i2c总线时序对saa7111a进行初始化。
3.1 数据采集的逻辑功能设计
本设计方案通过利用cpld控制视频采集芯片saa7111a实现行、场数据延时[2]，并分奇、偶场数据分离存放，dsp选择读取采集到的奇、偶场数据统一或分别进行处理，从而得到多分辨率图像数据。将saa7111a产生的控制信号和状态信号与cpld连接，即把垂直同步信号vref、水平同步信号href、奇偶场标志信号rts0、片选信号ce、场同步信号vs、象素同步信号llc2等连接到cpld上，cpld通过这些控制和状态信号进行译码和产生存储地址等操作。垂直同步信号vref的两个正脉冲之间为扫描一帧（帧扫描方式）或一场（场扫描方式）的定时，即完整的一帧或一场图像在两个正脉冲之间扫描完。水平同步信号href为扫描该帧或该场图像中各行象素的定时，即高电平时为扫描一行象素的有效时间。若当前图像窗口大小为640×480，则在vref两个正脉冲之间有480个href的正脉冲，即480行；在每个href正脉冲期间有640个llc2正脉冲，即每行640个象素，即vref、href、llc2这三个同步信号之间的关系。
为了体现本系统多分辨率的特点，需要改变saa7111a的默认采样分辨率，通过cpld的逻辑控制就可以得到多分辨率图像数据。本文选择从默认分辨率720×625到设定分辨率640×480的采集，因此就需要进行、场延迟，舍弃部分像素。通过写saa7111a中i2c寄存器行同步开始寄存器(子地址06)和行同步结束寄存器(子地址07)可以直接控制行同步有效时间，因此可以省略行延迟电路设计，而场延迟是在cpld中实现。
逻辑功能设计大体分为以下几个部分：dsp与cpld的总线切换逻辑；场延迟部分（href的下降沿进行计数器设计）；llc2控制的sram地址产生部分；sram片选信号、写信号以及同步时钟选择时序控制部分。其中cpld和dsp之间的总线管理是设计中的难点。图像采集时序如下图所示。
图2：图像采集时序图
具体描述如下：置低dsp的xf引脚产生start采集启动信号，它向cpld发出图像采集命令，当vs上升沿来临时，如果rts0为低电平，则表明是奇场即将到来，产生odd高电平信号，对odd取反再与dsp输出的nps相或后用作sram (odd)的片选信号cs_odd。在vref上升沿时刻，启动场延迟计数器，场延迟是在cpld中实现的，从每帧625行到480行需要舍弃145行(奇、偶场各采集240行)，在cpld中利用行同步参考信号href进行计数器设计（href<240）。场延迟结束时，置高href145信号，有效图像数据采集开始接受，当vref出现下降沿时，置低href145信号，奇场图像采集完成；如果rts0为高电平，则表明偶场即将到来，产生even高电平信号，对even取反再与dsp输出的nps相或后用作sram (even)的片选信号cs_even，场延迟仍然利用行同步参考信号href进行计数器设计（href<240）来实现，场延迟结束时，置高href145信号，有效图像数据采集开始接受，当vref出现下降沿时，置低href145信号，偶场图像采集完成。此外gcswitch信号作为cpld选择内部时钟的控制信号，当gcswitch为高电平期间，表示cpld获取总线权，系统处于图像采集阶段，cpld内部时钟为llc2；当gcswitch为低电平期间，表示dsp收回总线权，系统处于图像处理阶段，此时cpld内部的时钟信号为dsp输出时钟信号clockout。奇、偶场图像存储器采用了issi公司的l0ns级256k×16高速sram，llc2时钟为13. 5mhz，即每个像素时钟大约为74.1ns，每一个llc2脉冲产生一次sram地址，相对于sram的10ns级的读写周期来说完全可以满足要求。利用llc2(约13.5mhz)时钟进行写逻辑时序控制设计如下图所示：
图3：ram(odd，even)写信号时序图
同时要注意：如果在处理完一帧图像后再采集下一帧时，图像数据已经进入了偶场或奇场，此时若开放图像采集，由于不是从图像头开始采集，所采图像将不完全，因此需要确定图像采集开始的基准。这里设计只在rts0的上升沿才检测图像采集开始信号是否产生，这样每帧图像只在rts0的上升沿才开始采集，即每次都从偶场开始，这样就避免了图像数据的混乱，保证图像的开始基准。另外，由于存放图像数据的sram（奇、偶场sram）地址是由cpld控制产生的，那么如果将saa7111a转换输出的vpo[15:0]直接存放在sram中，势必就会影响数据、地址的同步，导致不同的数据写入同一个地址，同一个数据写入不同的地址，从而造成读写错误。因此，考虑将saa7111a输出的vpo[15:0]也作为cpld的输入信号，在cpld里通过延时作同步处理后再连接到sram的数据线上，这样就可以满足时序要求使数据写入正确的地址。
3.2 总线逻辑切换设计
在前面提到了cpld和dsp之间的总线切换管理是设计中的难点，在数据采集过程cpld必须掌握总线控制权，切换到数据处理过程dsp必须掌握总线控制权。为了解决这个无缝切换问题，这里充分利用dsp的保持请求信号nhold和保持响应信号nholda来协调总线切换[3]。
通过置dsp的xf引脚为低电平，告诉cpld开始控制saa7111a进行图像采集。在dsp_xf连接到cpld为高电平（dsp_xf初始状态应该为低电平）时，cpld产生dsp_ hold总线请求切换信号，该信号连接到dsp的nhold引脚请求dsp进入保持状态，在3个机器周期后dsp做出响应：产生nholda低电平信号到cpld，而且外部数据总线、外部地址总线和控制总线都变成高阻态。此时dsp进入保持状态，cpld控制各总线操作；当一帧图像采集、存储完成后cpld产生nint中断信号通知dsp开始处理处理数据，同时并置高dsp_ hold引脚使得dsp的nhold脚也置高，并通过对cpld编程将cpld与sram连接的各个外部数据总线、外部地址总线和控制总线都置成高阻态，而在nhold置高3个机器周期后dsp外部数据总线、外部地址总线和控制总线都脱离高阻态，dsp进入正常工作状态，dsp置xf脚为高电平，收回总线控制权进行数据处理；
当dsp将处理后的一帧数据传输到上位机完成后，再次置低xf脚告诉cpld可以开始采集下一帧了，cpld产生dsp_ hold使dsp进入保持状态，外部数据总线、外部地址总线和控制总线又都变成高阻态，cpld掌握总线控制权。如此往复下去即可以解决dsp与图像采集模块的总线冲突问题，正确的切换总线逻辑保证了可以循环采集图像进行处理。
3.3 cpld逻辑功能仿真验证
通过利用cpld控制视频a/d芯片saa7111a的图像采集过程，并利用saa7111a的输出状态信号来控制cpld实现图像数据储存、时序控制、地址译码等功能。这样很好地协调了行、场参考及同步信号、像素时钟、sram读写信号和dsp控制信号之间的时序关系，保证了对sram读写操作时各信号的时序配合，很好的解决了行、场延时问题，使图像分辨率从720×625过渡到640×480，并且正确生成sram写地址，dsp中断信号以及总线切换信号的产生。
由于篇幅有限，故没有列出vhdl具体代码，现只给出仿真结果。仿真结果如下所示：
图4：循环采集处理仿真图
上面的循环采集处理仿真图就是实际系统工作时采集模块中各个信号的时序逻辑关系。从仿真图可以看出通过对cpld的编程实现了多点的行、场延时，奇偶场分离存放，从而得到多分辨率的图像数据，以及dsp中断产生、逻辑总线切换信号、下一帧的开始触发信号、奇偶场对齐信号等都能满足系统时序要求。采集一帧640×480的图像约需22.75ms，可以满足实时性的要求。 4 结论
本文设计了一种基于cpld的多分辨率图像采集系统，本文作者创新点：提出一种由cpld控制图像的行、场信号延时，奇偶数据分离存储来得到不同分辨率图像数据的方法，实现了不占用dsp资源的多分辨率图像的实时采集。经过大量仿真和电路板调试，证明该方案灵活有效，能够在工业监测、医疗诊断等图像实时采集领域得到广泛应用。
参考文献
[1] 周霖. dsp通信工程技术应用 [m]. 北京：国防工业出版社，2003.
[2] 张骏. 基于dsp和cpld的图像通信系统设计与实现 [d]. 哈尔滨：哈尔滨工程大学硕士学位论文, 2004, 2.
[3] 赵龙宝, 范天翔, 陆亨立. 基于ov5017和cpld的图像采集显示系统[j]. 微计算机信息, 2005, 21-7: 104-105.
卫星互联网竟是6G关键技术！
光耦组成的脉冲电路图原理介绍及其应用
国芯思辰｜海速芯32位MCU TM32F103K7应用于12V转220V逆变器模块，可替代STM32F103C8T6
特斯拉召回21599辆国产ModelY汽车
社会上开始出现了对于人工智能的不同看法
CPLD在DSP多分辨率图像采集系统中的应用
无菌动物房改造项目消防应急照明和疏散系统的应用
智能卡安全数据传输的工作过程
对多视觉几何中出现的运算做出分析和解释
5G开放式RAN(ORAN)详解
华为全球基站出货超50万个 领跑下一代移动
意法半导体推出即用型安全汽车进入车载系统芯片解决方案，符合车联网联盟数字车钥匙标准3.0版
合同金额超3亿! PCB上市企业的泰国新工厂开始建设
直流电机和交流电机有什么不同
中国成功发射第十一颗北斗导航卫星
华为面向商业市场推出三款产品组合，构建高质量连接
华为计划在英国剑桥建设芯片工厂,转投英国三大因素分析
OptoTest宣布可为光纤制造商提供按订单生产的OP720-Matrix MEMS 3D光交换机
任正非：今天的问题 在十多年前就有预计
基于Lab Windows/CVI7.1综合检测系统