在数字视频创新已经成为数字信息产业热点的今天,数字视频系统的设计方法不断提高,数字视频系统的复杂度已经远远超过以往任何时候。达芬奇技术成功实现数字视频需要四大要素的最新进步,即:处理器、开发工具、软件以及系统专业技术。由于能够在集成这四种要素的平台中实现数字视频、音频、语音与话音技术,因此达芬奇技术可以为数字视频的当前变革打下基础。
本设计是在一块60*60mm 的pcb板上来完成视频的采集、处理与显示。由摄像头采集的视频图像经由解码器转换成达芬奇处理器能够处理的格式,在codec engine 中实现h.264 、mpeg-4编解码,在lcd液晶屏上最高能达到1280*720 分辨率下30fps(帧/每秒)流畅显示。这样的数字视频系统能达到尺寸小,功能强,设计灵活,实用性广的优点。
1.系统的总体架构及工作原理
1.1 tms320dm6446 器件总揽
达芬奇处理器tms320dm6446 是基于业界最高性能的dsp平台—ti tms320c6000? 由arm926ej-s 内核、tms320c64x+ dsp 内核、系统控制、视频处理子系统(vpss)、电源管理、外部存储器接口、外围控制模块等功能模块组成。
tms320dm6446 中的arm926ej-s 内核具有16kb 指令和8kb 数据cache 及16kb rom 和16kb ram 。tms320c64x+ dsp 内核具有32kb l1 程序r a m / c a c h e 、8 0 k b l1 数据r a m /cache 及64kb l2 ram/cache 。具有ddr2 内存控制器;64 通道增强型dma 控制器;串行端口(3 个uart、i2c、spi、音频串口);3 个64 位通用定时器;10/100m 以太网;usb2.0 端口;3 个pwm 端口;多达71 个通用i/o 口;支持mmc/sd/cf 卡等。系统控制模块提供了看门狗、中断控制器、电源管理控制器、复位控制器及2 个片上振荡器。视频处理子系统(vpss) 有用于视频输入的视频前端输入(vpff) 接口由ccd 控制器(ccdc), 预处理器、柱状模块、自动曝光/白平衡/聚焦模块(h3a)和寄存器组成;和用于视频输出的视频后端输出(vpbe)接口由屏幕菜单式调节器(osd)、视频编码器(venc)和四路10bit dacs 组成。
1.2 系统的硬件组成及工作原理
整个数字视频系统采用的是由达芬奇处理器(tms320dm6446)、ddr2 sdram 、nand flash、视频解码器tvp5146 、电源管理芯片tps65023,ltc3412 加上外围接口芯片的方案。视频解码器把ccd摄像头传过来的模拟视频信号进行模/数转换,变成符合itu-bt.656标准的数字视频信号,然后将数字视频信号传到达芬奇处理器的视频处理子系统的前端进行预处理经过codec engine 编解码后送到视频处理子系统的后端,直接输出数字视频信号到显示终端上或是通过四路54mhz 的dacs来提供ntsc/pal制式的模拟视频输出。dm6446 上的arm端主要做为控制器来控制视频解码芯片和外围接口芯片,dsp端主要负责视频编解码工作。系统硬件框图如图1所示
2.视频部分的硬件结构及其分析
2.1 视频采集与解码
本设计选用ti公司的视频解码芯片tvp5146 完成从模拟到数字视频的转换。tvp5146 允许10路模拟视频输入,具有4路10bit a/d 转换器;场同步信号vs,行同步信号hs,奇偶场信号fid,时钟输出信号dataclk 等都由引脚直接引出,省去同步时钟电路的设计。
tvp5146 上的y[9:2]为输出的亮度视频信号,dataclk 为行锁定系统的输出时钟,像素时钟频率为27mhz, 用来同步数据采集,hs为行同步信号,vs为场同步信号分别与达芬奇处理器dm6446 视频端口对应的信号相连接。hs的高电平表示一行有效采样点个数,vs 的高电平表示一场有效信号,对于ntsc 制信号,单场为243 行, 奇偶场信号fid为“1” 时,表示当前为奇数场,为“0” 表示偶数场。视频解码芯片与dm6446 的接口电路如图2所示。
2.2 图像处理与显示
实时图像处理系统设计的难点是如何在有限的时间内完成大量图像数据的处理。只有图像处理系统的处理速度达到每秒25帧以上时才能达到实时的效果并且要想在显示终端上显示出高清晰的图像最重要的就是在codec engine 中的视频编解码运算。而达芬奇处理器能通过多种复杂的视频编解码来实现高清视频输出,如mpeg-4编解码能显示30fps分辨率为720p(1280*720);h.264 编解码能显示30fps 分辨率为d1(720*480) 等。tms320dm6446 处理器视频处理子系统中的视频后端提供的在线视频显示处理器既能够显示两组独立的视频窗口或两组独立的osd窗口,还可以以一个视频窗口、一个osd窗口和一个属性窗口的形式显示。视频编码器完成图像数据编码后可以通过内部的lcd控制器直接输出数字视频信号到液晶显示器上也可以通过四路54mhz 的dacs 进行d/a转换,来提供ntsc/pal、s-video 等格式的视频或音频输出。
3.电源设计
本设计采用的是ti 最新的基于达芬奇技术的tms320dm644x dsp 的电源管理芯片tps65023 在高达1.5a 的最宽负载电流范围内可实现高性能的数控功能与效率最大化。tps65023 集成了三个降压转换器以支持系统的内核电压、外设、i/o 以及存储器电压,还集成了两个可由外部输入引脚启动的通用200ma 线性低压降 (ldo) 稳压器。每个ldo 的输入电压范围都在2.5 v 至6.5 v 之间,因此既可通过其中一个集成降压转换器供电,也能直接通过电池供电。
在本设计中tps65023 的vdcdc1 管脚输出1.2v 电压用于dm6446 的内核供电,vdcdc2 管脚输出1.8v 电压用于dm6446 的存储器接口供电,vdcdc3 管脚输出3.3v 电压用于dm6446 的外设接口供电。由于tps65023 只提供1a/1.8v 电压不够供应两片ddr2 sdram,故还需一个输出1.8v 的电源管理芯片来为ddr2 供电,此系统选用的是ltc3412a 输出电流3a。这样用两个电源管理芯片就能满足系统供电。tps65023 与达芬奇dm6446 的接口电路如图3 所示。
图3tps65023与dm6446的接口电路
4.软件实现
达芬奇软件架构涵盖低级的os驱动程序乃至应用api。在达芬奇软件平台中可以细分为多任务的codec,即视频(video)、影像(image)、语音(speech)、音频(audio),统称visa。另外还包含具有多媒体框架组件的codec引擎远程服务器。由此构成的信号处理层(spl)一方面通过visaapi接口与应用层(apl)连接,另一方面则通过dsp/bios与底层内核沟通。apl包含客户增值差异化设计软件模块,并通过linuxapi沟通底层内核的许多外围接口驱动。
expressdsp配置工具的使用使得配置一个codec的过程极其简单,下面就是一个完整的应用程序开发步骤:
第一步,开发并完成codec。就是要开发音视频编解码的核心算法,按照xdm标准封装成为codec库,codec主要完成音视频的核心算法,应用程序运行时被调用,并不参与其他功能。
第二步,将codec集成到codecengine中。将第一步开发完成的codec或已有的符合xdm的codec集成到codecengine中,这一步需要配置两个javascript的脚本文件,其中一个脚本文件表明了,codec的使用和配置信息,文件名一般为*.cfg,另一个描述了codec在达芬奇上的内存分配的配置,文件名一般为*tcf,配置好这两个文件后,使用make命令即可生成codecengine,其文件名一般为*.x64p。可被应用程序直接调用。
第四步,加载dsplink和cmem模块,运行应用程序至此一个完整的达芬奇音视频应用程序就完成了,其中许多过程是通过脚本文件配置完成的,过程非常简单易懂,下面我们需要在达芬奇上运行它,首先要加载dsplink和cmem两个驱动程序模块,其中dsplink主要实现了arm和dsp的底层通信,而cmem则主要是完成了在物理段上分配连续内存的功能,加载完这两个模块,这样便可以直接运行已完成的应用程序。
5.结论
基于tms320dm6446为核心处理器的数字视频系统已经实现并且功能强大,性能稳定,扩展性强,功耗低,能很好的加速数字视频创新。本文的创新点:1.基于ti强大的达芬奇处理器(双核)能够实现h.264等复杂的编解码。2.利用ti专门针对达芬奇供电的电源管理芯片tps65023为其供电,很好的解决干扰、emi/emc的问题而且还能达到功耗低的效果。
全球汽车产销预计下降16%,中国车市现已开始复苏
关于人工智能相关的故事
华为美国子公司Futurewei已经开始将业务与母公司进行分离
富士康组建运营决策委员会,意欲架空郭台铭?
阿牛巴流量计有哪些优势
基于达芬奇处理器TMS320DM6446实现数字视频系统的应用方案
美国“拉黑”小米与其创始人获得的表彰有关?
汉得利为智慧交通提供全面的声学应用解决方案
Cypress 专为物联网应用打造的 MCU 平台
攻克智能电网之“核” 打造超前智能变压器
网易云音乐来到十字路口:MAU不升反降 功能叠加,体验下降
Qualcomm与Fossil宣布推出基于Snapdragon Wear平台的下一代智能手表
智能电视的时代悖论,教育成电视新场景
手机摄像头的测试中,弹片微针模组的优势明显
氨气检测仪的正确安装位置
光功率计操作及注意事项
京东方发布2023年半年度业绩预告
中芯国际2020年Q1财报出炉 营收创新高且资本支出上调
Cosmic Circuits荣获TSMC AMS IP年度合作伙伴奖
日本公司开发了一种可以按下的全息按钮的浮动象形图技术