360度全景智能监控方案解析
目前，国内外尚未将三维成像技术成熟应用到监控产品上面，功能比较接近的产品是车辆智能全景监控系统。但它只能记录平面信息，不能全面地反映周围环境的具体情况。
今天为大家介绍的360度全景智能监控方案，正是在车辆智能全景监控系统发展而来的，是对车辆智能全景监控系统的改进。
通过采用三维成像技术和语声混合算法，本系统一方面将周围物体的三维建模和尺度测量用3d技术来实现。另一方面，还将全部观测点的声音信息全部记录下来，使得记录的资料更加生动、形象和全面。
本系统方案可以广泛地应用于中高档汽车、工程机械、港口船闸、水库大坝、金融场所等重要场合的全方位智能化监控。
系统基本原理描述
三维智能全景监控系统主要分为如下几部分：中央处理单元、显示与人机界面、专用摄像头（分布式安装）。
本系统的主体为中央处理单元，该部分主要包括：
（1）视频采集部件，采集系统所需视频，并将采集到的视频传送到视频合成部件。
（2）视频防抖部件，最大程度地预防在视频采集过程中的抖动，同时进行相应的视频补偿操作。
（3）视频合成部件，将采集到到视频内容进行无缝合成，形成全景视频，并输送到投影与映射单元。
（4）投影与映射部件，将合成的视频内容进行投影与映射，输出到相应的终端。
（5）目标检测部件，对周边的目标物体进行智能检测，按照预先设定的规则进行智能控制操作、综合障碍预警和多元导航信息等。
（6）gis部件，对移动主体进行gis定位功能。
图1 系统方案框架图
系统硬件的工作流程框图
系统方案主要包括：dsp核心处理器单元、fpga协同处理器单元、图像采集单元(相机)、视频解码芯片、视频编码芯片、can模块。图3．1系统硬件的工作流程框图。
系统硬件平台主要器件的选型及讨论分析
本系统硬件平台器件选择是依据系统稳定性、可扩展性以及日后软件升级空间等各项性能指标最佳化的情况下进行分析的。各器件还以尽可能降低系统成本，充分利用各芯片的内部资源为准则进行选取，提高整个系统的集成度和性价比。
（1）tms320c6000系列dsp分析
在本设计中dsp作为核心处理器件，它的选型决定外围电路的复杂性和整个系统的稳定性。为实现多图像传感器融合的全景泊车辅助系统的特殊要求，核心处理器dsp的选型决定了整个系统电路的结构。
dm642保留了c64x原有的内核结构以及大部分外设的基础上为适应多路视频采集处理等应用增加了3个双通道数字视频无缝接口，可最多同时采集6路数字视频流。其片内资源丰富和扩展性好，最为适合本设计的要求，经过综合考虑，最终选择dm642作为本设计的核心处理器。
选用dm642作为本设计核心处理器， dm642整体功能框图如图3．2所示。
dm642内部使用l1p和l1d两级高速缓存结构，有着强大丰富的外围设备接口。l1p和l1d分别为一级程序缓存、二级数据缓存，lip是一个的直接映射缓存空间，l1d是一个2组相连的高速数据缓存空间n 2|。
外围设备包括：3个可配置视频端口，1个以太网控制器模块，1个高速数据输入／输出管理模块，1个内插vcxo控制接口，1个多链路专用音频接口，1个12c总线硬件标准接口，2个可配置多通道缓冲串口，3个可配置32位定时器，1个与外围设备的扩展接口(pci)，1组16管脚的可配置i／o端口(gpio)，1个64位imifa，可以无缝连接同／异步存储器和外围扩展设备。
（2）fpga的选型及分析
经过调研最终本设计选用的是拥有40万系统门数的spartan一3an系列xc3s400an型号的芯片，所以着重介绍此款芯片的资源外设等相关信息n6。
spartan一3an系列芯片为系统集成度非常高的非易失性fpga，此款芯片有以下几项独特性能：fpga有大量内部sram高性能资源、非易失性、缩小板卡空间和配置便捷等特点。
spartan一3an．硬件平台是专门面向对成本有严格要求的嵌入式产品开发的。
spartan-3an系列fpga芯片的硬件资源如表3．1。
（3）图像传感器的选型及分析
图像传感器包括电子束摄像管、ccd、cmos等超大规模半导体集成感光器件的图像传感器和面阵高速扫描型图像传感器等。cmos图像传感器的内部结构框图如图3．3所示。
在cmos器件发展的历程中，cmos器件从“被动像敏单元”结构到“主动像敏单元”演变是由于大规模集成电路设计与微电子制造技术进入深亚微米阶段，cmos图像传感器芯片可集成大规模感光阵列、信号读出及处理电路和控制电路于一体，再加上光学镜头等外围设备就构成了一个光学成像系统。
现代工艺条件下的cmos芯片内部结构主要是由感光阵列、水平(垂直)控制电路和时序电路、信号读出与处理电路、模／数转换电路和数据接口电路等组成。
下面对两种图像传感器进行分析，即mt9v024和0v7960两款不同公司的图像传感器芯片。
(1)mt9v024图像传感器
mt9v024是像平面尺寸为1／3英寸、宽vga模式的cmos有源像素图像传感器，它采用truesnap球形快门和高动态范围。该传感器专门为内外兼顾的汽车成像需求而设计，这使得它成为多种成像应用环境的理想芯片。
这款传感器采用aptina的突破性低噪声的cmos成像技术以达到ccd的成像质量(基于信号信噪比和低光照灵敏度)同时保持了固有的大小，成本和cmos的整合优势。
片上采用先进的相机功能，如分级2×2，4×4，以提高在较小的决议上操作时的灵敏度，就像窗口功能，行和列镜像。通过标准两线串行可编程接口，可以在默认模式下对帧大小、曝光度、增益以及其他参数进行配置。默认模式输出宽vga尺寸的图像，每秒60帧。
片上模数转换器把每个像素的模拟信号转换为士obit数据流。可另外启用一个12位全分辨率代替10位小信号。除了传统的并行逻辑输出，mt9v024还有还具有lvds(串行低压差分信号)这款传感器能够在立体摄像中操作。mt9v024图像传感器具体性能参数如表3．2所示：
(2)0v7960图像传感器
0v7960是omnivision最近两年新推出的小尺寸图像传感器芯片，它的出现满足了汽车业对辅助驾驶系统应用要求(如倒车后视镜)，开创了cmos图像传感器在汽车安全辅助驾驶系统应用的新开端0v7960图像传感器的性能完全满足了汽车电子行业对图像传感器成像效果的特殊需求，1／4超小巧体积，在低光照下的也有良好的性能(<0．01lux)，并采用全球最小的csp封装，体积比同类产品小50％，已经成为cmos产品的领导者。
0v7960图像传感器具体性能参数如表3．3所示：
本设计的目的是开发出一种能打破现有的只在高端车上配备的全景泊车辅助系统。所以低成本是系统开发必须考虑的因素之一，由于用于汽车主动安全的系统是给驾驶员提供二些车辆周围实时状况信息，所以系统对图像质量的要求不是特别高，经过综合考虑本设计才用0v7960图像传感器作为相机的图像采集芯片。
电源电路设计
由于本系统包含dsp、fpga以及它们的外围电路器件，所需电源有5v、3．3v、2．5v、1．8v、1．4v、1．2v等，系统所需电源如此之多电源模块的设计会成为整个系统的难点，能否保证系统个部分能够稳定运行成为整个硬件设计成败关键，下面将各模块器件的电源进行总体说明。
1、dsp及外围设备电源电路
汽车启动和正常行驶过程中时，其电源输出电压在lov一16v范围内无规律突变。不难想象出这样的大幅度波动电压对电子系统的危害，若直接作用在车载电子系统及车载仪表上，这种大幅度波动产生的电压冲击往往会造成电子器件损坏，导致出现严重事故。
所以本系统在设计中考虑到12v供电电源要从车上引入时，添加一个保护电路确保整个系统电路的安全，如图3．4：
图3.4 12v保护电路
为确保tms320dm642处理器稳定工作必须对它的内核和i／o端口分别进行独立供电以减少电源之间的相互串扰，其内核电压为1．4v，i／o端口电源为3．3v。视频编码芯片tvp5150aml数字电压(avdd)和模拟电压(dvdd)输入均为1．8 v，i／o端izl电压(dvddio)为3．3 v。
视频编码芯片saatl21数字电压(vddd)和模拟电压(vdda)同为3．3v。gdram和flash工作电压为3．3v。考虑整个系统的功耗，第一级的电压转换全部选用ti推荐的开关电源管理芯片tps5430作为12v一5v的电压转换核心器件；选用两片tps54310参照其datasheet对电路进行设计，分别为dsp提供内核电压1．4v和i／o端口电压3．3v，其中3．3v电源也为系统中其他元器件供电。各部分电路设计如下所示：
图3．5 tps5430电源转换电路12v-5v
tps54310输入的电压为tps5430经过转换输出的5v电压。一片tps54310为
tms320dm642提供内核电压，输出电压1．4v如电路图3．9所示，另一片为tms320dm642提供i／o端口电压，输出电压为3．3v如图3．6所示：
图3．6 dm642外围i／0端口电压
在系统上电后，dsp内核首先得到tps54310电源芯片提供的1．4v稳定电压，然后第一片tps54310的pv／rgd端口输出一个使能电平(高电平)给第二片tps54310的ss／en端口旧引。这样就保证了系统上电时dsp内核首先获得供电，ilo端口在内核得到1．4v稳定电压后获得3．3v供电，系统掉电过程中dsp内核后于i／o端口电源掉电。这样大大增加了芯片使用寿命和系统稳定性。
2、fpga及其他部分电源模块设计
fpga协处理器选用的是xilinx的spartan-3an系列芯片，其型号为xc3s400an。xc3s400an处理器内核电压(vccint)为1．2v，辅助电源电压(vccaux)为2．5v，i／o端口电压为3．3v雎引。
板卡上其他芯片，如fpga的配置芯片xcf02sv020c电源为2．5v和3．3v，tvp5150aml电压(avdd、dvdd)为1．8v以及i／0端口电压(dvddio)3．3v，saa7121电压为3．3v。
由于电源输入12v经过tps54310和tps5430等开关电源第一级转换，所以之后的电压转换芯片都选用的是设计简单、占用空间小的线性电源转换芯片，如tlvlll7—1．2为fpga内核提供1．2v稳定电压、tlvlll7-1．8为tvp5150aml提供1．8v数字电压、tlvll7—2．5为fpga的辅助电源和配置芯片电源。其电路设计如下图3．7所示
图3．7 fpga及其他部分电源模块
基于0v7960图像传感器的相机设计
下面对0v7960图像传感器核心部分电路设计进行简单介绍。相机是否能正确输出稳定模拟信号，是相机部分设计的关键，必须采用输出电压纹波系数小的电源芯片和大量的滤波电容，滤波电容的摆放尽量靠近引脚，这样就能够输出良好的模拟视频图像数据。图像传感器设计电路如图3．8所示：
图3．8 0v70960图像传感器外围电路
三维智能全景监控系统实践应用
针对本系统在车辆的三维全景监控系统上进行了实践和应用。通过本系统进行视频合成虚拟出来的监控范围内有效区域的全景视图效果，并利用三维图像的形式进行显示，提供更加真实的虚拟现场。同时，本系统还可以实现关键部位的自动尺度测量，在必要的时候，主动进行报警。其效果演示图如下：
图3 三维智能全景监控系统在车辆监控上的应用效果图
欧洲主要运营商采用1400 MHz 基站天线
华为将在28日召开发布会，或将发布其最新折叠屏手机Mate X3？
射频芯片在智能家居中的应用
市场份额正逐渐往大品牌集中,魅族需要提升出货量
信息娱乐系统中基于SAF775D芯片的音频解决方案
360度全景智能监控方案解析
随着安防技术的深入应用 公租房智能化已经成为了趋势
瑞能半导体全球首座模块工厂在上海湾区高新区正式投入运营
哪有什么洪荒之力，成功都是一步步走出来的
云母电容的用途_云母电容特点
关于Graphcore IPU设计背后的思考
PCB铜皮的面积和热阻是什么
消防应急灯具有哪些技术要求?
CSON使用实例：定义数据模型
基于SEPIC变换器的高功率因数LED照明电源设计
联想Z5Pro评测 在各个方面都用最好的标准打响了价格战
投影机的标准分辨率
数字孪生：如何撑起一个万亿市场的产业变革
是德科技和中国移动确定进行合作开发RoCE的测试方案
机器人外壳与底盘是制约现阶段市场化发展的关键要素
今天为大家介绍的360度全景智能监控方案，正是在车辆智能全景监控系统发展而来的，是对车辆智能全景监控系统的改进。
通过采用三维成像技术和语声混合算法，本系统一方面将周围物体的三维建模和尺度测量用3d技术来实现。另一方面，还将全部观测点的声音信息全部记录下来，使得记录的资料更加生动、形象和全面。
本系统方案可以广泛地应用于中高档汽车、工程机械、港口船闸、水库大坝、金融场所等重要场合的全方位智能化监控。
系统基本原理描述
三维智能全景监控系统主要分为如下几部分：中央处理单元、显示与人机界面、专用摄像头（分布式安装）。
本系统的主体为中央处理单元，该部分主要包括：
（1）视频采集部件，采集系统所需视频，并将采集到的视频传送到视频合成部件。
（2）视频防抖部件，最大程度地预防在视频采集过程中的抖动，同时进行相应的视频补偿操作。
（3）视频合成部件，将采集到到视频内容进行无缝合成，形成全景视频，并输送到投影与映射单元。
（4）投影与映射部件，将合成的视频内容进行投影与映射，输出到相应的终端。
（5）目标检测部件，对周边的目标物体进行智能检测，按照预先设定的规则进行智能控制操作、综合障碍预警和多元导航信息等。
（6）gis部件，对移动主体进行gis定位功能。
图1 系统方案框架图
系统硬件的工作流程框图
系统方案主要包括：dsp核心处理器单元、fpga协同处理器单元、图像采集单元(相机)、视频解码芯片、视频编码芯片、can模块。图3．1系统硬件的工作流程框图。
系统硬件平台主要器件的选型及讨论分析
本系统硬件平台器件选择是依据系统稳定性、可扩展性以及日后软件升级空间等各项性能指标最佳化的情况下进行分析的。各器件还以尽可能降低系统成本，充分利用各芯片的内部资源为准则进行选取，提高整个系统的集成度和性价比。
（1）tms320c6000系列dsp分析
在本设计中dsp作为核心处理器件，它的选型决定外围电路的复杂性和整个系统的稳定性。为实现多图像传感器融合的全景泊车辅助系统的特殊要求，核心处理器dsp的选型决定了整个系统电路的结构。
dm642保留了c64x原有的内核结构以及大部分外设的基础上为适应多路视频采集处理等应用增加了3个双通道数字视频无缝接口，可最多同时采集6路数字视频流。其片内资源丰富和扩展性好，最为适合本设计的要求，经过综合考虑，最终选择dm642作为本设计的核心处理器。
选用dm642作为本设计核心处理器， dm642整体功能框图如图3．2所示。
dm642内部使用l1p和l1d两级高速缓存结构，有着强大丰富的外围设备接口。l1p和l1d分别为一级程序缓存、二级数据缓存，lip是一个的直接映射缓存空间，l1d是一个2组相连的高速数据缓存空间n 2|。
外围设备包括：3个可配置视频端口，1个以太网控制器模块，1个高速数据输入／输出管理模块，1个内插vcxo控制接口，1个多链路专用音频接口，1个12c总线硬件标准接口，2个可配置多通道缓冲串口，3个可配置32位定时器，1个与外围设备的扩展接口(pci)，1组16管脚的可配置i／o端口(gpio)，1个64位imifa，可以无缝连接同／异步存储器和外围扩展设备。
（2）fpga的选型及分析
经过调研最终本设计选用的是拥有40万系统门数的spartan一3an系列xc3s400an型号的芯片，所以着重介绍此款芯片的资源外设等相关信息n6。
spartan一3an系列芯片为系统集成度非常高的非易失性fpga，此款芯片有以下几项独特性能：fpga有大量内部sram高性能资源、非易失性、缩小板卡空间和配置便捷等特点。
spartan一3an．硬件平台是专门面向对成本有严格要求的嵌入式产品开发的。
spartan-3an系列fpga芯片的硬件资源如表3．1。
（3）图像传感器的选型及分析
图像传感器包括电子束摄像管、ccd、cmos等超大规模半导体集成感光器件的图像传感器和面阵高速扫描型图像传感器等。cmos图像传感器的内部结构框图如图3．3所示。
在cmos器件发展的历程中，cmos器件从“被动像敏单元”结构到“主动像敏单元”演变是由于大规模集成电路设计与微电子制造技术进入深亚微米阶段，cmos图像传感器芯片可集成大规模感光阵列、信号读出及处理电路和控制电路于一体，再加上光学镜头等外围设备就构成了一个光学成像系统。
现代工艺条件下的cmos芯片内部结构主要是由感光阵列、水平(垂直)控制电路和时序电路、信号读出与处理电路、模／数转换电路和数据接口电路等组成。
下面对两种图像传感器进行分析，即mt9v024和0v7960两款不同公司的图像传感器芯片。
(1)mt9v024图像传感器
mt9v024是像平面尺寸为1／3英寸、宽vga模式的cmos有源像素图像传感器，它采用truesnap球形快门和高动态范围。该传感器专门为内外兼顾的汽车成像需求而设计，这使得它成为多种成像应用环境的理想芯片。
这款传感器采用aptina的突破性低噪声的cmos成像技术以达到ccd的成像质量(基于信号信噪比和低光照灵敏度)同时保持了固有的大小，成本和cmos的整合优势。
片上采用先进的相机功能，如分级2×2，4×4，以提高在较小的决议上操作时的灵敏度，就像窗口功能，行和列镜像。通过标准两线串行可编程接口，可以在默认模式下对帧大小、曝光度、增益以及其他参数进行配置。默认模式输出宽vga尺寸的图像，每秒60帧。
片上模数转换器把每个像素的模拟信号转换为士obit数据流。可另外启用一个12位全分辨率代替10位小信号。除了传统的并行逻辑输出，mt9v024还有还具有lvds(串行低压差分信号)这款传感器能够在立体摄像中操作。mt9v024图像传感器具体性能参数如表3．2所示：
(2)0v7960图像传感器
0v7960是omnivision最近两年新推出的小尺寸图像传感器芯片，它的出现满足了汽车业对辅助驾驶系统应用要求(如倒车后视镜)，开创了cmos图像传感器在汽车安全辅助驾驶系统应用的新开端0v7960图像传感器的性能完全满足了汽车电子行业对图像传感器成像效果的特殊需求，1／4超小巧体积，在低光照下的也有良好的性能(<0．01lux)，并采用全球最小的csp封装，体积比同类产品小50％，已经成为cmos产品的领导者。
0v7960图像传感器具体性能参数如表3．3所示：
本设计的目的是开发出一种能打破现有的只在高端车上配备的全景泊车辅助系统。所以低成本是系统开发必须考虑的因素之一，由于用于汽车主动安全的系统是给驾驶员提供二些车辆周围实时状况信息，所以系统对图像质量的要求不是特别高，经过综合考虑本设计才用0v7960图像传感器作为相机的图像采集芯片。
电源电路设计
由于本系统包含dsp、fpga以及它们的外围电路器件，所需电源有5v、3．3v、2．5v、1．8v、1．4v、1．2v等，系统所需电源如此之多电源模块的设计会成为整个系统的难点，能否保证系统个部分能够稳定运行成为整个硬件设计成败关键，下面将各模块器件的电源进行总体说明。
1、dsp及外围设备电源电路
汽车启动和正常行驶过程中时，其电源输出电压在lov一16v范围内无规律突变。不难想象出这样的大幅度波动电压对电子系统的危害，若直接作用在车载电子系统及车载仪表上，这种大幅度波动产生的电压冲击往往会造成电子器件损坏，导致出现严重事故。
所以本系统在设计中考虑到12v供电电源要从车上引入时，添加一个保护电路确保整个系统电路的安全，如图3．4：
图3.4 12v保护电路
为确保tms320dm642处理器稳定工作必须对它的内核和i／o端口分别进行独立供电以减少电源之间的相互串扰，其内核电压为1．4v，i／o端口电源为3．3v。视频编码芯片tvp5150aml数字电压(avdd)和模拟电压(dvdd)输入均为1．8 v，i／o端izl电压(dvddio)为3．3 v。
视频编码芯片saatl21数字电压(vddd)和模拟电压(vdda)同为3．3v。gdram和flash工作电压为3．3v。考虑整个系统的功耗，第一级的电压转换全部选用ti推荐的开关电源管理芯片tps5430作为12v一5v的电压转换核心器件；选用两片tps54310参照其datasheet对电路进行设计，分别为dsp提供内核电压1．4v和i／o端口电压3．3v，其中3．3v电源也为系统中其他元器件供电。各部分电路设计如下所示：
图3．5 tps5430电源转换电路12v-5v
tps54310输入的电压为tps5430经过转换输出的5v电压。一片tps54310为
tms320dm642提供内核电压，输出电压1．4v如电路图3．9所示，另一片为tms320dm642提供i／o端口电压，输出电压为3．3v如图3．6所示：
图3．6 dm642外围i／0端口电压
在系统上电后，dsp内核首先得到tps54310电源芯片提供的1．4v稳定电压，然后第一片tps54310的pv／rgd端口输出一个使能电平(高电平)给第二片tps54310的ss／en端口旧引。这样就保证了系统上电时dsp内核首先获得供电，ilo端口在内核得到1．4v稳定电压后获得3．3v供电，系统掉电过程中dsp内核后于i／o端口电源掉电。这样大大增加了芯片使用寿命和系统稳定性。
2、fpga及其他部分电源模块设计
fpga协处理器选用的是xilinx的spartan-3an系列芯片，其型号为xc3s400an。xc3s400an处理器内核电压(vccint)为1．2v，辅助电源电压(vccaux)为2．5v，i／o端口电压为3．3v雎引。
板卡上其他芯片，如fpga的配置芯片xcf02sv020c电源为2．5v和3．3v，tvp5150aml电压(avdd、dvdd)为1．8v以及i／0端口电压(dvddio)3．3v，saa7121电压为3．3v。
由于电源输入12v经过tps54310和tps5430等开关电源第一级转换，所以之后的电压转换芯片都选用的是设计简单、占用空间小的线性电源转换芯片，如tlvlll7—1．2为fpga内核提供1．2v稳定电压、tlvlll7-1．8为tvp5150aml提供1．8v数字电压、tlvll7—2．5为fpga的辅助电源和配置芯片电源。其电路设计如下图3．7所示
图3．7 fpga及其他部分电源模块
基于0v7960图像传感器的相机设计
下面对0v7960图像传感器核心部分电路设计进行简单介绍。相机是否能正确输出稳定模拟信号，是相机部分设计的关键，必须采用输出电压纹波系数小的电源芯片和大量的滤波电容，滤波电容的摆放尽量靠近引脚，这样就能够输出良好的模拟视频图像数据。图像传感器设计电路如图3．8所示：
图3．8 0v70960图像传感器外围电路
三维智能全景监控系统实践应用
针对本系统在车辆的三维全景监控系统上进行了实践和应用。通过本系统进行视频合成虚拟出来的监控范围内有效区域的全景视图效果，并利用三维图像的形式进行显示，提供更加真实的虚拟现场。同时，本系统还可以实现关键部位的自动尺度测量，在必要的时候，主动进行报警。其效果演示图如下：
图3 三维智能全景监控系统在车辆监控上的应用效果图
欧洲主要运营商采用1400 MHz 基站天线
华为将在28日召开发布会，或将发布其最新折叠屏手机Mate X3？
射频芯片在智能家居中的应用
市场份额正逐渐往大品牌集中,魅族需要提升出货量
信息娱乐系统中基于SAF775D芯片的音频解决方案
360度全景智能监控方案解析
随着安防技术的深入应用 公租房智能化已经成为了趋势
瑞能半导体全球首座模块工厂在上海湾区高新区正式投入运营
哪有什么洪荒之力，成功都是一步步走出来的
云母电容的用途_云母电容特点
关于Graphcore IPU设计背后的思考
PCB铜皮的面积和热阻是什么
消防应急灯具有哪些技术要求?
CSON使用实例：定义数据模型
基于SEPIC变换器的高功率因数LED照明电源设计
联想Z5Pro评测 在各个方面都用最好的标准打响了价格战
投影机的标准分辨率
数字孪生：如何撑起一个万亿市场的产业变革
是德科技和中国移动确定进行合作开发RoCE的测试方案
机器人外壳与底盘是制约现阶段市场化发展的关键要素