数字视频的大数据量给信息的存储和传输造成了相当大的困难,成为数字视频应用的瓶颈之一,数字视频压缩编码是解决这一问题的有效途径,但在一些对实时性要求较高的场合,要求快速实现数字视频的编解码。采用dsp器件集成的视频采集压缩卡能快速实现视频压缩算法,提高处理速度,满足实时性要求。
本文采用blackfin系列的dsp芯片adsp-21535来实现mpeg-4视频编解码,详细介绍了硬件和软件的设计方案。
硬件设计
整个系统包括视频采集单元、mpeg-4编解码单元、数据存储单元、逻辑控制单元和视频显示单元等。采用conexant公司的bt829实现视频信号采集,数据存储采用cypress公司的sram芯片cy7c104133,视频显示单元采用adi公司的adv7175,逻辑控制部分采用altera公司的max7000芯片。
软件设计
mpeg-4视频编码是根据图像的内容将其分割成不同的视频对象vo(video object),然后进行编码。其编码过程可由3步来完成,即vo的形成、编码和复合。它提供了灵活的框架和开放的工具集。
基于vop(video object plane)的编码,vo是场景中的某个物体,是由时间上连续的帧画面序列组成的,而vop是某一时刻某一帧画面的vo,vop编码是针对某一时刻该帧画面vo的形状、运动、纹理等三类信息进行编码。从类型上看包括帧内ivop(intra vop)、帧间前向因果预测pvop(inter prediction vop)、帧间双向非因果预测bvop(inter biderctional prediction vop)和全息灵影svop(sprite vop)。从空间上看它由若干个16×16的宏块组成,又可分成4个8×8的亮度块和2个8×8的色差块。它采用位图法对vop的形状进行编码。
在本文设计的编解码器中,对于352×288的vop图像数据编码采用y:u:v=4:2:0的格式,即每采样4个亮度样本,对应采样两个色差样本。然后,分离不同的帧格式,分别对它们进行编码和解码。
基于adsp-21535的mpeg-4编码优化
adsp-21535采用双mac的结构,具有正交的类似risc的微处理器集,主频可达300mhz,有专门的视频处理指令、灵活的sram和cache结构,是一款在多媒体处理与网络传输应用中极具特色的芯片。因此,在编码的过程中,应充分考虑芯片的结构和指令特点,实现程序的优化。
使用硬件结构提高处理速度
adsp-21535内部有两块ram,即l1ram和l2ram。l1ram是核内的高速ram,可以按照需要定义为cache或sram,或者一部分数据cache,一部分数据sram。它可分成16kb指令cache和指令sram,也可分成32kb数据cache和数据ram。相对来说l2ram离核较远,如果程序或数据放在l2ram中直接执行,速度会比较慢。因此如果程序的数据量较小,可以把程序和数据直接放入l1ram中执行。但是对于数据量较大的程序来说,有时还有可能把数据放在外部存储器中,如视频采集数据,这时就应该设置好cache允许的数据地址和程序地址,然后启动cache,这样程序和数据就会自动调入l1ram中执行。
运动估值搜索算法的并行处理
视频压缩的关键是去除时间与空间的冗余,考虑到帧间的时间相关性强的特点,为了满足随机存储和高压缩比的要求,一般采用帧间和帧内的编码技术。在mpeg-4运动搜索算法中是使用条块匹配算法,需要进行vop范围内点的搜索。匹配使当前的图像与预测图像的绝对差值和,即sad最小。
sad的计算是运动估值中最重要的一个环节,它直接影响整个运动搜索的速度,这也是图像数据实时压缩的瓶颈。blackfin提供了一个极好的硬件指令,可以取出8个单元数据同时做4组video单元的绝对差和。adsp-21535提供了两种指令形式来完成这个操作,即saa(r1:0)和saa(r1:0,r3:2)(r代表寄存器组高低寄存器互换),将结果放在a0和a1中(a0和a1为两个乘法器和累加器,r1和r0、r2和r3为配对的两个寄存器,一般称为寄存器组0和寄存器组1)。
由于作绝对差和是针对字节而言,所以起始字节地址不一定是以4的整数倍开始,但是每次运算却必须要取出4个字节作运算。对于此,blackfin巧妙地根据地址的末两位来确定运算所取的字节。其地址指针为i0和i1,由i0和r1:0、i1和r3:2来确定运算的8个点。
用adsp-21535计算当前块与目标宏块的sad值的程序在此就不再赘述。
结语
整个系统使用visual dsp++3.0进行开发,通过jtag口仿真,在cif格式下(352×288)进行测试。采集的帧率为25fps,对ivop、pvop、bvop同时编码,平均压缩一帧需60ms左右,平均压缩比为40倍左右。从这些数据可以看出,用blackfin实现mpeg-4编解码方案是可行的,能有效解决传输数据的瓶颈问题,提高信号的处理速度。同时该芯片的功耗小,性能稳定,可实现电源的动态管理,有利于实现视频压缩卡的集成。当然,如果能够对算法进一步优化,就更有利于视频数据的实时处理和传输。
多家芯片企业宣告量产 中国芯片不断发展
CCPO将就与OPPO商标纠纷案的一审判决结果提起上诉
新时代工程师们需要怎样的仪器?
聚合物电解质离子电导率及界面稳定性的影响因素
在现实中使用哆啦A梦的竹蜻蜓
利用DSP芯片实现MPEG-4视频编码的优化设计
51单片机for循环结束之后还在运行
利用伺服自动化可以实现成本削减和产能最大化,获得竞争优势
浅谈电动机监控系统节的能改造方案
MagicLeapOne拆解 内部结构有多复杂
Java软件工程师的就业前景
空气网格化监测系统-空气质量自动检测系统
触觉传感器使机器人能触摸世界 让机械臂能够抓住敏感或易碎的物体
特斯拉员工: 公司老板对股东和客户夸夸其谈,许下了许多无法兑现的诺言
阻容降压的工作原理详细介绍
广州玩具CE认证检验公司
电缆故障:高低压电缆故障测试仪使用步骤详解( 秒懂)
UltraScale可编程架构如何解决互连问题?
基于Erlang语言的视频相似推荐系统
华晨宝马PACK产能实现了翻番