嵌入式视频图像系统的压缩算法
嵌入式视频图像系统的压缩算法
随着网络技术和多媒体技术的发展.视频通信的需求逐渐增加.同时最新的视频压缩标准不断推出。mpeg-4 ( moving pictures expcrts group-4)是国际运动图像像编码专家组(mpeg moving picture experts group)在1998年11月制定[1]的，它不同于其他标准.是个而向多媒体应用的压缩标准. 第1次提出了基于对象的压缩方法.使交互功能的实现成为可能。日前基于pc平台的mpeg-4视频编码器[2]在互联网的远程教育和高清晰电影等方面己经有较多的应用.但在硬盘录像机、多媒体通信等视频业务的嵌入式系统应用更为广泛。以dsp为嵌入式图像处理核心的系统，具有开发周期短，编程灵活的特点，因此dsp图像处理系统成为了研究热点。
dsps结构特点
tms320c6455是ti ( tcxas instrumcnts incorporatcd)公司推出的最新高速dsp芯片[3]。具体结构见图1。最主要的特点从是结构[4]上采用了vliw(vliw: verylong instruction word)超长指令字内核结构.具有1200 mhz的cpu，每个周期可以同时执行8条32bit的指令。速度可达到9600 mips ( 1200 mhz x 8条指令=4 800 mips) 。片内采用2级高速缓存结构.片外存储器有很强大的外部存储器接口emif ( extcrnal mcm ory intcrfacc)。 这些性能能满足视频图像处理的实时性要求.确立了它在高端多媒体应用中的地位。
图1 tms320c6455dsp 的内核结构
对cache的优化
最大程度地发挥cache效率是达到期望编码器性能的一个关键因素[5]。cache高速的存储访问速度可以减少cpu延迟周期.提高处理器的效率。tms320c64xdsp有两级存储结构应用片内数据和程序存储。对于l1cache能够以cpu的同样速度访问。l2cache既可以作数据空间也可以作为程序空间使用.l2是片外空间与l1的桥梁。
mpeg-4视频编码器是以宏块为单位进行编码处理 ，只有当前宏块处理完成所有的过程后，视频编码器才能传送一个宏块。直接出现的缺点是: 一个视频编码器整个代码大于 l1p。每个宏块在 l1p和 l2之间的传送过程 ，导致严重的cache缺失。而一个单独的宏块从片外存储空间到片内空间的搬移 , 也不能发挥 edma (extended direct memony access )的优势。
为避免发生的cache大量缺失，采取 3种方法[6] 。
1.整个编码算法应该分成 3个模块: 宏块编码、运动估计、运动重建 , 这样使每个模块代码都适合 l1p。每次循环以宏块组为单位 , 宏块组的大小由 l1d大小决定。在宏块编码模块中, 当宏块组被传送到片内，他们一起经过 dct direct cosine transform 、量化、熵编码 , 直到宏块组编码模块结束为止，l1d才刷新这组宏块。同时对应的程序包括 dct、量化、熵编码也被保存到 l1p。
2.尽量减少数据类型的大小。可以用 8位数据就不用 16位数据 , 这样不但节省空间 ，而且能提高l1d的使用效率。因为 l1d行的大小是固定的， 在一行内如果采用 8位数据 比 16位数据可多放一倍 , 从而减少程序中 cache缺失情况的发生。
3.采用乒乓缓存结构, 提高 cache命中率 , 减少 cpu等待时间。
在视频编码模块中，当前帧和参考帧数据放在片外存储器，在编码过程中需要依次对图像帧中的每个宏块进行操作。但宏块直接从片外内存读取，这就会发生cpu等待。可以设置两对片上缓存，一对存放当前帧宏块，一对存放参考帧宏块，它们以乒乓方式工作。乒乓缓冲工作模式如图1所示。编码前e dma将片外的当前帧中编码宏块数据和在搜索范围内的参考帧宏块数据搬移到片上内存。在用edma搬移数据到其中一块片内缓存的同时，，处理器可以对另一块缓存中的数据进行处理。经过这样的修改，cpu一直从片上读取存储器数据大大减少了cpu阻塞情况的发生，提高了编码速度。
图2 乒乓缓冲存储器结构
sad和像素插值的优化
sad(sum ofabsolute difference)是运动估计模块[7]关键模块 , 而 dm642提供了一套丰富的视频和图像专用指令可以高效实现运动估计算法。
ldndw (load non2aligneddoubleword)指令，可以一次读取 64位无边界数据。这个指令可以从当前帧中和参考帧一次读取8个 8位像素数据。因此可以提高当前帧和参考帧宏块数据的搬移速度。
subabs4(subtractwith absolute)指令，计算在两组 8位数据包之间的 4个绝对值之差。
doptpu4是个计算 4对 8位数据乘积求和的运算。两个 doptpu4可在单周期内并行 , 所以可极大地提高 sad的计算速度。具体步骤如下：
1)两个 ldndw指令从当前帧和参考帧取 8个像素;
2)两个 subabs4计算 8个像素的差值;
3)两个 dotpu4计算 8个像素乘积求和。
像素插值也是个计算量大的模块。avg4指令可执行 4个 8位数值平均值计算。avg2可以执行 2个 16位数据的平均计算。shrmb(shift right andmerge byte) 右移第 2个寄存器 , 把第 1个寄存器的低位作为高字节。avg4计算平均值，shrmb处理结果。
此外笔者参考 ti提供的 imglib支持库 该库中还包括了许多常用的图像和视频处理的函数 ，以完成 dct、 idct (inverse direct cosine transform)、中值滤波等功能 , 这些函数都是经过汇编优化。完全能够实现软件流水， 执行效率很高。采用标准序列 coastguard.yuv编码 5帧数据，主要函数优化前后性能比较，如表 1所示。
表 1 各个函数优化性能比较
tab1performance of functions by analysis
利用 edma进行数据搬移, 提高存储速度
tms320c6455dsp支持 edma功能 , 是在没有 cpu介入的情况下 , 访问存储器的一种工作方式。它可以直接通过 edma通道 , 提前把外设或片外存储器中的数据直接搬移到片上内存。对 cpu来说 , 所访问的数据总是在片内的 , 没有阻塞的情况发生 , 减少了 cpu等待时间[8]。
使用 ti的 csl (chip supportlibrary )支持功能[9，10]。它有专门的 dma模块 , 便于对 dma的各个存储器控制。主要使用 dat函数 , 进行 dma存储器间数据传送。其中使用 dat copy ( )和dat fill ( )。
就象常用的内存操作 memcpy 、memset 一样 , 只需要在 api接口指出源地址、目的地址、长度、维数属性等 , 而不需要再去考虑具体的寄存器。
下面的代码就是把 sdram中的 90帧 cif 288 ×352 格式视频序列中的一帧 , 利用 edma在缓存中进行搬移。
dat_open(dat_channy, dat_ pri_ low,dat_open_2d);
copy2framebuf(unit8*framebuf)
{
if((tempbuf_rawbuf)>13685852)
if (tempbuf!=null)
free(tempbuf);
return 1;
}
dat.copy(tempbuf,framebuf,152064);
tembuf+=152064;
return 0;
}
编码器的总体性能
表2 mpeg-4编码器的性能
从表2数据可以看出，对于不同的视频序列帧率提高至少5倍以上，信噪比虽然有所降低，但是由于频帧的大幅度提高并达到实时要求而得到弥补，显示效果更好。
结语
笔者论述了tms32oc6455dsp 平台上进行视频编码算法优化的措施。主要考虑根据dsp自身特点和视频算法进行优化，通过实验可以验证达到30帧/秒以上的实时性要求，随着ic 技术的发展和dsp 价格的降低，基于dsp的视频编码器的商用价值越来越明显。
AT32讲堂028 | AT32 MCU如何设定启动存储器为主存扩展
控制智能家居方式不外乎手机或智能音箱 体感控制将是下一发展方向
苹果23款经典产品汇总 总有一款你没见过
美开发出按需储存和释放太阳热能的新材料
ROGMAXIMUSXIFORMULA主板评测 极致用料和优秀做工毫无疑问是最顶级的存在
嵌入式视频图像系统的压缩算法
给收音机装配一个定时电子开关,Time switch for radio
萤石视频锁DL30VS喜获安全性能优质产品、功能体验优质产品奖
传统电气控制回路保护方式和电机保护器保护方式
CS5460A芯片的电网电流表设计
关于创建可穿戴心率监测器（一）性能分析
Vertica在亚太及日本区继续发展并扩大市场影响力
“照明即平台”的意义是什么
如何使用SMS为LED供电
RTX 3080 Ti将推迟到2月中旬上市
NorFlash、NandFlash、eMMC闪存三者对比
水晶头怎么识别优劣-科兰
FES-4000两片罐前段综合尺寸检测仪的特点是什么
联发科技携手微软推出具丰富多媒体的智能型手机平台
任正非解读华为未来走向 寄语新员工站在前人肩膀上前行
随着网络技术和多媒体技术的发展.视频通信的需求逐渐增加.同时最新的视频压缩标准不断推出。mpeg-4 ( moving pictures expcrts group-4)是国际运动图像像编码专家组(mpeg moving picture experts group)在1998年11月制定[1]的，它不同于其他标准.是个而向多媒体应用的压缩标准. 第1次提出了基于对象的压缩方法.使交互功能的实现成为可能。日前基于pc平台的mpeg-4视频编码器[2]在互联网的远程教育和高清晰电影等方面己经有较多的应用.但在硬盘录像机、多媒体通信等视频业务的嵌入式系统应用更为广泛。以dsp为嵌入式图像处理核心的系统，具有开发周期短，编程灵活的特点，因此dsp图像处理系统成为了研究热点。
dsps结构特点
tms320c6455是ti ( tcxas instrumcnts incorporatcd)公司推出的最新高速dsp芯片[3]。具体结构见图1。最主要的特点从是结构[4]上采用了vliw(vliw: verylong instruction word)超长指令字内核结构.具有1200 mhz的cpu，每个周期可以同时执行8条32bit的指令。速度可达到9600 mips ( 1200 mhz x 8条指令=4 800 mips) 。片内采用2级高速缓存结构.片外存储器有很强大的外部存储器接口emif ( extcrnal mcm ory intcrfacc)。 这些性能能满足视频图像处理的实时性要求.确立了它在高端多媒体应用中的地位。
图1 tms320c6455dsp 的内核结构
对cache的优化
最大程度地发挥cache效率是达到期望编码器性能的一个关键因素[5]。cache高速的存储访问速度可以减少cpu延迟周期.提高处理器的效率。tms320c64xdsp有两级存储结构应用片内数据和程序存储。对于l1cache能够以cpu的同样速度访问。l2cache既可以作数据空间也可以作为程序空间使用.l2是片外空间与l1的桥梁。
mpeg-4视频编码器是以宏块为单位进行编码处理 ，只有当前宏块处理完成所有的过程后，视频编码器才能传送一个宏块。直接出现的缺点是: 一个视频编码器整个代码大于 l1p。每个宏块在 l1p和 l2之间的传送过程 ，导致严重的cache缺失。而一个单独的宏块从片外存储空间到片内空间的搬移 , 也不能发挥 edma (extended direct memony access )的优势。
为避免发生的cache大量缺失，采取 3种方法[6] 。
1.整个编码算法应该分成 3个模块: 宏块编码、运动估计、运动重建 , 这样使每个模块代码都适合 l1p。每次循环以宏块组为单位 , 宏块组的大小由 l1d大小决定。在宏块编码模块中, 当宏块组被传送到片内，他们一起经过 dct direct cosine transform 、量化、熵编码 , 直到宏块组编码模块结束为止，l1d才刷新这组宏块。同时对应的程序包括 dct、量化、熵编码也被保存到 l1p。
2.尽量减少数据类型的大小。可以用 8位数据就不用 16位数据 , 这样不但节省空间 ，而且能提高l1d的使用效率。因为 l1d行的大小是固定的， 在一行内如果采用 8位数据 比 16位数据可多放一倍 , 从而减少程序中 cache缺失情况的发生。
3.采用乒乓缓存结构, 提高 cache命中率 , 减少 cpu等待时间。
在视频编码模块中，当前帧和参考帧数据放在片外存储器，在编码过程中需要依次对图像帧中的每个宏块进行操作。但宏块直接从片外内存读取，这就会发生cpu等待。可以设置两对片上缓存，一对存放当前帧宏块，一对存放参考帧宏块，它们以乒乓方式工作。乒乓缓冲工作模式如图1所示。编码前e dma将片外的当前帧中编码宏块数据和在搜索范围内的参考帧宏块数据搬移到片上内存。在用edma搬移数据到其中一块片内缓存的同时，，处理器可以对另一块缓存中的数据进行处理。经过这样的修改，cpu一直从片上读取存储器数据大大减少了cpu阻塞情况的发生，提高了编码速度。
图2 乒乓缓冲存储器结构
sad和像素插值的优化
sad(sum ofabsolute difference)是运动估计模块[7]关键模块 , 而 dm642提供了一套丰富的视频和图像专用指令可以高效实现运动估计算法。
ldndw (load non2aligneddoubleword)指令，可以一次读取 64位无边界数据。这个指令可以从当前帧中和参考帧一次读取8个 8位像素数据。因此可以提高当前帧和参考帧宏块数据的搬移速度。
subabs4(subtractwith absolute)指令，计算在两组 8位数据包之间的 4个绝对值之差。
doptpu4是个计算 4对 8位数据乘积求和的运算。两个 doptpu4可在单周期内并行 , 所以可极大地提高 sad的计算速度。具体步骤如下：
1)两个 ldndw指令从当前帧和参考帧取 8个像素;
2)两个 subabs4计算 8个像素的差值;
3)两个 dotpu4计算 8个像素乘积求和。
像素插值也是个计算量大的模块。avg4指令可执行 4个 8位数值平均值计算。avg2可以执行 2个 16位数据的平均计算。shrmb(shift right andmerge byte) 右移第 2个寄存器 , 把第 1个寄存器的低位作为高字节。avg4计算平均值，shrmb处理结果。
此外笔者参考 ti提供的 imglib支持库 该库中还包括了许多常用的图像和视频处理的函数 ，以完成 dct、 idct (inverse direct cosine transform)、中值滤波等功能 , 这些函数都是经过汇编优化。完全能够实现软件流水， 执行效率很高。采用标准序列 coastguard.yuv编码 5帧数据，主要函数优化前后性能比较，如表 1所示。
表 1 各个函数优化性能比较
tab1performance of functions by analysis
利用 edma进行数据搬移, 提高存储速度
tms320c6455dsp支持 edma功能 , 是在没有 cpu介入的情况下 , 访问存储器的一种工作方式。它可以直接通过 edma通道 , 提前把外设或片外存储器中的数据直接搬移到片上内存。对 cpu来说 , 所访问的数据总是在片内的 , 没有阻塞的情况发生 , 减少了 cpu等待时间[8]。
使用 ti的 csl (chip supportlibrary )支持功能[9，10]。它有专门的 dma模块 , 便于对 dma的各个存储器控制。主要使用 dat函数 , 进行 dma存储器间数据传送。其中使用 dat copy ( )和dat fill ( )。
就象常用的内存操作 memcpy 、memset 一样 , 只需要在 api接口指出源地址、目的地址、长度、维数属性等 , 而不需要再去考虑具体的寄存器。
下面的代码就是把 sdram中的 90帧 cif 288 ×352 格式视频序列中的一帧 , 利用 edma在缓存中进行搬移。
dat_open(dat_channy, dat_ pri_ low,dat_open_2d);
copy2framebuf(unit8*framebuf)
{
if((tempbuf_rawbuf)>13685852)
if (tempbuf!=null)
free(tempbuf);
return 1;
}
dat.copy(tempbuf,framebuf,152064);
tembuf+=152064;
return 0;
}
编码器的总体性能
表2 mpeg-4编码器的性能
从表2数据可以看出，对于不同的视频序列帧率提高至少5倍以上，信噪比虽然有所降低，但是由于频帧的大幅度提高并达到实时要求而得到弥补，显示效果更好。
结语
笔者论述了tms32oc6455dsp 平台上进行视频编码算法优化的措施。主要考虑根据dsp自身特点和视频算法进行优化，通过实验可以验证达到30帧/秒以上的实时性要求，随着ic 技术的发展和dsp 价格的降低，基于dsp的视频编码器的商用价值越来越明显。
AT32讲堂028 | AT32 MCU如何设定启动存储器为主存扩展
控制智能家居方式不外乎手机或智能音箱 体感控制将是下一发展方向
苹果23款经典产品汇总 总有一款你没见过
美开发出按需储存和释放太阳热能的新材料
ROGMAXIMUSXIFORMULA主板评测 极致用料和优秀做工毫无疑问是最顶级的存在
嵌入式视频图像系统的压缩算法
给收音机装配一个定时电子开关,Time switch for radio
萤石视频锁DL30VS喜获安全性能优质产品、功能体验优质产品奖
传统电气控制回路保护方式和电机保护器保护方式
CS5460A芯片的电网电流表设计
关于创建可穿戴心率监测器（一）性能分析
Vertica在亚太及日本区继续发展并扩大市场影响力
“照明即平台”的意义是什么
如何使用SMS为LED供电
RTX 3080 Ti将推迟到2月中旬上市
NorFlash、NandFlash、eMMC闪存三者对比
水晶头怎么识别优劣-科兰
FES-4000两片罐前段综合尺寸检测仪的特点是什么
联发科技携手微软推出具丰富多媒体的智能型手机平台
任正非解读华为未来走向 寄语新员工站在前人肩膀上前行