基于DSP和FPGA的机器视觉系统设计与实现
创新观点：
本文将机器视觉与网络技术相结合，使用ti公司新近推出的6000系列dspstms320dm642为核心，应用altera公司的fpga，用其实现图像预处理，减轻了dsps的负担。应用网络技术实现图像传输。
1、引言
机器视觉自起步发展到现在，已有15年的发展历史。应该说机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。
目前，国际上视觉系统的应用方兴未艾，1998年的市场规模为46亿美元。在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概 40%-50%都集中在半导体行业。具体如pcb印刷电路。主要的机器视觉公司诸如德国克朗斯公司，美国的工业动力机械有限公司等等。
而在国内，工业视觉系统尚处于概念导入期，导致以上各行业的应用很少，即便是有，也只是低端方面的应用，大多数国内公司多代理国外公司产品，自主研发的相对较少，这样产品在国内售价相对很高，导致很多工厂在权衡利弊之后，放弃了使用机器视觉的想法。
但随着我国配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，同时也由于视频采集系统硬件产品的价格下降，国内有关大专院校和研究所近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业现场的应用。另外，各行业的领先企业在解决了生产自动化的问题以后，已开始将目光转向视觉测量自动化方面。这些应用大多集中在如药品检测分装、印刷色彩检测等。真正高端的应用还很少，因此，以上相关行业的应用空间还比较大。
嵌入式系统和网络化是机器视觉系统发展的两个趋势：
1） 嵌入式系统使得数据采集、自动控制和图像检测集成得更加紧密，另外基于嵌入式系统的机器视觉系统具有极低的功耗。
2） 网络化是嵌入式系统的发展趋势，其在工业自动化领域的应用也越来越广泛，机器视觉于网络通信等先进技术的结合正在改变工业自动化生产的面貌。
当前，机器视觉与运动控制，网络通讯等先进技术的结合正在改变工业自动化生产的面貌，而同时具备运动控制，机器视觉，网络通讯几方面技术背景的企业无疑将走在前列。
2、系统硬件设计
本次设计以啤酒瓶检测为设计背景，结合机器视觉的这两大发展趋势，开发以ti公司tms320dm642为核心的嵌入式系统，并应用以太网技术进行图像传输。
设计模块示意图：
图1 硬件结构框图
2.1 视频采集模块
模拟视频信号采用非标准制式，相机工作在外触发方式下，由fpga提供触发信号，每触发一次，相机传送一场信号。进入电路板的视频信号幅值为1v，先经过视频运算放大器el4089放大并嵌位，使幅值升为2v.之后信号分两路，一路送isl59885视频同步分离芯片产生行同步、场同步信号，一路经 ad9200进行模数转换。将视频信号解码出行同步、场同步及8位的亮度信号送入fpga模块。
2. 2 fpga模块
altera公司的ep1k100系列是性价比较高的可编程逻辑器件，它具有10万等效系统门，核电压为2.5v，端口电压兼容5v、3.3v，工作频率可达250mhz，可满足本卡多电压高频率工作要求。
这一部分主要负责整个板卡的逻辑控制，时序调整。fpga接收视频的行、场同步及亮度信号，并在fpga中进行图像的预处理，可以在fpga中进行二值化、sobel边缘分割、中值滤波。将处理后的亮度信号送入dm642的视频口。由于isl59885产生的行同步信号每两行分离出一个，为了正确的采集，fpga须在每两个行同步的中间加入一个行同步信号，送往dm642的视频口。另外fpga还负责视频采集部分的采样频率、嵌位信号的产生，并行io 控制信号的产生，以及串行接口部分通信协议rs-232、rs-442的选择等等。
2.3 dm642模块与存储模块
2.3.1 tms320dm642模块：
dm642是ti公司新近推出的一款应用于视频和图像处理方面的芯片，他采用tms320c64x系列dsps的内核，集成了一些面向视频及图像处理的外围设备，例如集成了三个可配置的视频口，10/100mbps ethernet mac，多通道串行音频接口（mcasp）及66mhz32位pci总线。tms320dm642采用ti公司开发的第二代高性能超长指令字结构 velocit1.2tm，在每个时钟周期内可执行2个16*16位的乘法或4个8*8位的乘法。tms320dm642内含6个算术逻辑单元，在每个时钟周期内都可执行2个16位或4个8位的加减\比较\移动等运算。在600mhz的时钟频率下，dm642每秒可以进行24亿次16位的乘累加或48亿次 8位的乘累加。这样强大的运算能力，使得dm642可以进行实时的多视频处理和图像处理。
本设计利用视频口进行图像采集，用以太网接口实现图像传输。
视频口能够支持bt.656、hdtv y/c、mpeg-2 transport stream input等多种格式的视频数据的输入输出。本次设计采用逐行扫描且只采集亮度数据，视频口工作在ycbcr 4：2：2方式下。视频口与dm642的edma结合，每采集一行图像数据便启动一次edma同步事件，将数据从接收fifo中倒到sdram中暂存下来。一场图像数据采集之后，采用edma链接自动重新配置edma参数。整个图像采集只消耗极少的cpu时间，使cpu能够把精力集中到后面的图像处理工作中。
2.3.2 存储器模块
外扩了sdram及flash两种存储器。
1 ）sdram存储器
在ce0空间连接了64bit的sdram总线。选取2片48lchm3282来构成sdram。这32m的sdram空间用来存储程图像数据和图像处理中间结果等信息。总线由外部pll驱动设备控制，在133mhz的最佳运行状态下运行。sdram的刷新由tms320dm642自动控制。
2 ）flash存储器
本系统扩展了1m的flash，映射在ce1空间的低位。flash存储器选用1m*8的mbm29dl800。flash存储器主要用于dsps程序的存储。ce1空间被配置成8bit，异步接口，flash存储器也是8bit。复位后的默认地址是000，并进行1k数据的上电自动引导。
2. 4 以太网模块
dm642上的emac接口为dsp处理内核与网络提供了一个有效的接口。他支持10base-t、100 base-tx，可工作在10mbits/second 和 100mbits/second的速度下进行全双工或半双工传输。并提供硬件流量控制和qos支持。
dm642的emac接口支持到计算机网络协议的数据链路层，支持标准的mii接口（媒体无关接口）与物理层设备相连。物理层设备使用broadcom公司的bcm5221，加pulse公司的1：1型隔离变压器h1102。
网络图像及控制信息的传输采用非面向连接的udp协议，对于480*480大小的8位灰度的图像，每秒可传送20幅。
2.5 io模块与串行接口模块
io接口由fpga控制，用于向机械部分、自动控制部分发送控制信号，并行io接口有两路，一路经lv162245驱动输出，一路经光耦进行隔离输出。
串行接口使用ti公司的tl16c752b uart，他与st16c550 uart引脚兼容，并具有更大的发送、接收fifo缓存（发送、接收各64byte ），支持硬件、软件流量控制。电平转换采用maxim公司的max3160，rs-232、rs-485、rs-422等多种传输协议。
3、fpga实现图像预处理算法
以fpga实现3*3 sobel边缘检测为例，介绍fpga实现图像预处理的方法。
首先，应从视频信号中提取出3*3 大小的图像框。须使用三个fifo，其大小与一行像素大小相同，将三个fifo串行连接在一起。用视频信号的前三行充满三个fifo，之后每来一个像素在写入fifo的同时，从每个fifo中读出一个像素的亮度值，分别放入三个移位寄存器。如此，在三个像素点之后就得到一个3*3的矩形框。随着视频信号的不断流入，矩形框将遍历整个图像区域。
之后，就可以对提取出来的像素点，进行各种算法的处理。
以下是用verilog语言描述的3*3 sobel算子：
wire［10:0］ temp1，temp2，temp3，temp4;
wire［7:0］ sobel1，sobel2，sobel3，sobel4;
wire［7:0］ dataout;
assign temp1 = temp［1］ + temp［2］ + temp［3］;
assign temp2 = temp［7］ + temp［8］ + temp［9］;
assign temp3 = temp［1］ + temp［4］ + temp［7］;
assign temp4 = temp［3］ + temp［6］ + temp［9］;
assign sobel1 = （temp1>temp2）？（temp1-temp2）：0 ;
assign sobel2 = （temp3>temp4）？（temp3-temp4）：0 ;
assign sobel3 = （sobel1>8’d 255） ？ 8’d255 ： sobel1;
assign sobel4 = （sobel2>8’d 255） ？ 8’d255 ： sobel2;
assign dataout［7:0］ = （（sobel3 > sobel4）？sobel3［7:0］：sobel4［7:0］）;
其中，考虑到了数据计算的溢出或结果为负值的情况，边缘检测效果良好。
4、结束语
本次设计为机器视觉系统搭建图像处理部分的硬件平台，结合机器视觉系统发展的两大趋势：嵌入式系统与网络技术。基于美国德州仪器公司新近推出的6000系列dsps芯片tms320cdm642，利用tms320dm642芯片上提供的video port和ethernet media access controller实现视频采集与网络技术的结合。利用在线可编程技术，在fpga中实现必要的图像预处理算法，减轻tms320dm642的负担，为后续的图像实时检测打下了良好的基础。
本次设计实现了对于480*480的灰度图像，通过以太网进行25 frames/s的流畅的传输。
以下为fpga实现的sobel边缘提取算法的效果：
图3.原始图像与sobel边缘提取后的图像
2010年国内家居照明市场将稳健上升
OPPO与联发科紧密合作的忧患
浅谈汽车连接器的性能
硬件错误侦测
中国汽车品牌在全球汽车行业中的价值表现
基于DSP和FPGA的机器视觉系统设计与实现
工信部公示物联网安全标准五大项目
市值蒸发近3000亿，又一家互联网巨头陨落，原因让人不解
5G时代，多端口器件测试面临哪些挑战？
小米平板3发布：超大电池联发科处理器，或推Pro版本可运行win10
单片机串行口介绍,8051单片机的通信方式
LGD入围 索尼独供“难保”！
最逼真的大脑模拟Spaun问世
加密货币对冲基金可能面临转型多家对冲基金将会关闭
大多数通用的CMOS和JFET的放大器
最高涨幅25%，AMD宣布上调Xilinx FPGA售价，供应短缺让TOP 2厂商受益
小米MAX2最新消息：小米MAX2拍照样张曝光，1200万像素+巨屏+后置指纹识别+续航升级
射频/微波PCB设计详情
达志科技拟向特定对象募资不超过9亿元
小米5C即将来袭诺基亚新机不会再等待？全球首款飞行手机壳
本文将机器视觉与网络技术相结合，使用ti公司新近推出的6000系列dspstms320dm642为核心，应用altera公司的fpga，用其实现图像预处理，减轻了dsps的负担。应用网络技术实现图像传输。
1、引言
机器视觉自起步发展到现在，已有15年的发展历史。应该说机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。
目前，国际上视觉系统的应用方兴未艾，1998年的市场规模为46亿美元。在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概 40%-50%都集中在半导体行业。具体如pcb印刷电路。主要的机器视觉公司诸如德国克朗斯公司，美国的工业动力机械有限公司等等。
而在国内，工业视觉系统尚处于概念导入期，导致以上各行业的应用很少，即便是有，也只是低端方面的应用，大多数国内公司多代理国外公司产品，自主研发的相对较少，这样产品在国内售价相对很高，导致很多工厂在权衡利弊之后，放弃了使用机器视觉的想法。
但随着我国配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，同时也由于视频采集系统硬件产品的价格下降，国内有关大专院校和研究所近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业现场的应用。另外，各行业的领先企业在解决了生产自动化的问题以后，已开始将目光转向视觉测量自动化方面。这些应用大多集中在如药品检测分装、印刷色彩检测等。真正高端的应用还很少，因此，以上相关行业的应用空间还比较大。
嵌入式系统和网络化是机器视觉系统发展的两个趋势：
1） 嵌入式系统使得数据采集、自动控制和图像检测集成得更加紧密，另外基于嵌入式系统的机器视觉系统具有极低的功耗。
2） 网络化是嵌入式系统的发展趋势，其在工业自动化领域的应用也越来越广泛，机器视觉于网络通信等先进技术的结合正在改变工业自动化生产的面貌。
当前，机器视觉与运动控制，网络通讯等先进技术的结合正在改变工业自动化生产的面貌，而同时具备运动控制，机器视觉，网络通讯几方面技术背景的企业无疑将走在前列。
2、系统硬件设计
本次设计以啤酒瓶检测为设计背景，结合机器视觉的这两大发展趋势，开发以ti公司tms320dm642为核心的嵌入式系统，并应用以太网技术进行图像传输。
设计模块示意图：
图1 硬件结构框图
2.1 视频采集模块
模拟视频信号采用非标准制式，相机工作在外触发方式下，由fpga提供触发信号，每触发一次，相机传送一场信号。进入电路板的视频信号幅值为1v，先经过视频运算放大器el4089放大并嵌位，使幅值升为2v.之后信号分两路，一路送isl59885视频同步分离芯片产生行同步、场同步信号，一路经 ad9200进行模数转换。将视频信号解码出行同步、场同步及8位的亮度信号送入fpga模块。
2. 2 fpga模块
altera公司的ep1k100系列是性价比较高的可编程逻辑器件，它具有10万等效系统门，核电压为2.5v，端口电压兼容5v、3.3v，工作频率可达250mhz，可满足本卡多电压高频率工作要求。
这一部分主要负责整个板卡的逻辑控制，时序调整。fpga接收视频的行、场同步及亮度信号，并在fpga中进行图像的预处理，可以在fpga中进行二值化、sobel边缘分割、中值滤波。将处理后的亮度信号送入dm642的视频口。由于isl59885产生的行同步信号每两行分离出一个，为了正确的采集，fpga须在每两个行同步的中间加入一个行同步信号，送往dm642的视频口。另外fpga还负责视频采集部分的采样频率、嵌位信号的产生，并行io 控制信号的产生，以及串行接口部分通信协议rs-232、rs-442的选择等等。
2.3 dm642模块与存储模块
2.3.1 tms320dm642模块：
dm642是ti公司新近推出的一款应用于视频和图像处理方面的芯片，他采用tms320c64x系列dsps的内核，集成了一些面向视频及图像处理的外围设备，例如集成了三个可配置的视频口，10/100mbps ethernet mac，多通道串行音频接口（mcasp）及66mhz32位pci总线。tms320dm642采用ti公司开发的第二代高性能超长指令字结构 velocit1.2tm，在每个时钟周期内可执行2个16*16位的乘法或4个8*8位的乘法。tms320dm642内含6个算术逻辑单元，在每个时钟周期内都可执行2个16位或4个8位的加减\比较\移动等运算。在600mhz的时钟频率下，dm642每秒可以进行24亿次16位的乘累加或48亿次 8位的乘累加。这样强大的运算能力，使得dm642可以进行实时的多视频处理和图像处理。
本设计利用视频口进行图像采集，用以太网接口实现图像传输。
视频口能够支持bt.656、hdtv y/c、mpeg-2 transport stream input等多种格式的视频数据的输入输出。本次设计采用逐行扫描且只采集亮度数据，视频口工作在ycbcr 4：2：2方式下。视频口与dm642的edma结合，每采集一行图像数据便启动一次edma同步事件，将数据从接收fifo中倒到sdram中暂存下来。一场图像数据采集之后，采用edma链接自动重新配置edma参数。整个图像采集只消耗极少的cpu时间，使cpu能够把精力集中到后面的图像处理工作中。
2.3.2 存储器模块
外扩了sdram及flash两种存储器。
1 ）sdram存储器
在ce0空间连接了64bit的sdram总线。选取2片48lchm3282来构成sdram。这32m的sdram空间用来存储程图像数据和图像处理中间结果等信息。总线由外部pll驱动设备控制，在133mhz的最佳运行状态下运行。sdram的刷新由tms320dm642自动控制。
2 ）flash存储器
本系统扩展了1m的flash，映射在ce1空间的低位。flash存储器选用1m*8的mbm29dl800。flash存储器主要用于dsps程序的存储。ce1空间被配置成8bit，异步接口，flash存储器也是8bit。复位后的默认地址是000，并进行1k数据的上电自动引导。
2. 4 以太网模块
dm642上的emac接口为dsp处理内核与网络提供了一个有效的接口。他支持10base-t、100 base-tx，可工作在10mbits/second 和 100mbits/second的速度下进行全双工或半双工传输。并提供硬件流量控制和qos支持。
dm642的emac接口支持到计算机网络协议的数据链路层，支持标准的mii接口（媒体无关接口）与物理层设备相连。物理层设备使用broadcom公司的bcm5221，加pulse公司的1：1型隔离变压器h1102。
网络图像及控制信息的传输采用非面向连接的udp协议，对于480*480大小的8位灰度的图像，每秒可传送20幅。
2.5 io模块与串行接口模块
io接口由fpga控制，用于向机械部分、自动控制部分发送控制信号，并行io接口有两路，一路经lv162245驱动输出，一路经光耦进行隔离输出。
串行接口使用ti公司的tl16c752b uart，他与st16c550 uart引脚兼容，并具有更大的发送、接收fifo缓存（发送、接收各64byte ），支持硬件、软件流量控制。电平转换采用maxim公司的max3160，rs-232、rs-485、rs-422等多种传输协议。
3、fpga实现图像预处理算法
以fpga实现3*3 sobel边缘检测为例，介绍fpga实现图像预处理的方法。
首先，应从视频信号中提取出3*3 大小的图像框。须使用三个fifo，其大小与一行像素大小相同，将三个fifo串行连接在一起。用视频信号的前三行充满三个fifo，之后每来一个像素在写入fifo的同时，从每个fifo中读出一个像素的亮度值，分别放入三个移位寄存器。如此，在三个像素点之后就得到一个3*3的矩形框。随着视频信号的不断流入，矩形框将遍历整个图像区域。
之后，就可以对提取出来的像素点，进行各种算法的处理。
以下是用verilog语言描述的3*3 sobel算子：
wire［10:0］ temp1，temp2，temp3，temp4;
wire［7:0］ sobel1，sobel2，sobel3，sobel4;
wire［7:0］ dataout;
assign temp1 = temp［1］ + temp［2］ + temp［3］;
assign temp2 = temp［7］ + temp［8］ + temp［9］;
assign temp3 = temp［1］ + temp［4］ + temp［7］;
assign temp4 = temp［3］ + temp［6］ + temp［9］;
assign sobel1 = （temp1>temp2）？（temp1-temp2）：0 ;
assign sobel2 = （temp3>temp4）？（temp3-temp4）：0 ;
assign sobel3 = （sobel1>8’d 255） ？ 8’d255 ： sobel1;
assign sobel4 = （sobel2>8’d 255） ？ 8’d255 ： sobel2;
assign dataout［7:0］ = （（sobel3 > sobel4）？sobel3［7:0］：sobel4［7:0］）;
其中，考虑到了数据计算的溢出或结果为负值的情况，边缘检测效果良好。
4、结束语
本次设计为机器视觉系统搭建图像处理部分的硬件平台，结合机器视觉系统发展的两大趋势：嵌入式系统与网络技术。基于美国德州仪器公司新近推出的6000系列dsps芯片tms320cdm642，利用tms320dm642芯片上提供的video port和ethernet media access controller实现视频采集与网络技术的结合。利用在线可编程技术，在fpga中实现必要的图像预处理算法，减轻tms320dm642的负担，为后续的图像实时检测打下了良好的基础。
本次设计实现了对于480*480的灰度图像，通过以太网进行25 frames/s的流畅的传输。
以下为fpga实现的sobel边缘提取算法的效果：
图3.原始图像与sobel边缘提取后的图像
2010年国内家居照明市场将稳健上升
OPPO与联发科紧密合作的忧患
浅谈汽车连接器的性能
硬件错误侦测
中国汽车品牌在全球汽车行业中的价值表现
基于DSP和FPGA的机器视觉系统设计与实现
工信部公示物联网安全标准五大项目
市值蒸发近3000亿，又一家互联网巨头陨落，原因让人不解
5G时代，多端口器件测试面临哪些挑战？
小米平板3发布：超大电池联发科处理器，或推Pro版本可运行win10
单片机串行口介绍,8051单片机的通信方式
LGD入围 索尼独供“难保”！
最逼真的大脑模拟Spaun问世
加密货币对冲基金可能面临转型多家对冲基金将会关闭
大多数通用的CMOS和JFET的放大器
最高涨幅25%，AMD宣布上调Xilinx FPGA售价，供应短缺让TOP 2厂商受益
小米MAX2最新消息：小米MAX2拍照样张曝光，1200万像素+巨屏+后置指纹识别+续航升级
射频/微波PCB设计详情
达志科技拟向特定对象募资不超过9亿元
小米5C即将来袭诺基亚新机不会再等待？全球首款飞行手机壳