H.264视频解码芯片滤波存储器设计方案
h.264 标准在低码率的情况下能产生高质量的画面，主要就是采用了自适应的环路滤波。h.264 采用了基于树状结构的块的运动补偿，基于块的运动补偿能很好地降低码率， 但这同时也引起了方块效应。
由此h.264 采用了一种自适应的滤波算法，能够很好地降低方块效应， 但同时也带来了极大的运算复杂度。在h.264 中，滤波后的数据将作为下一帧的参考帧，因此又称为环路滤波。研究表明：在h.264 解码过程中其中运动补偿(mc)约占30%，环路滤波(df)约占20%的解码时间，因此很好的设计mc 与df 对解码器的性能至关重要。
1 滤波过程用到的数据
h.264 中， 在mbaff 情况下的解码中宏块都是以宏块对的形式出现。因此在存储数据的时候也考虑到以一个宏块对的数据为单位进行存储。在一个宏块对中， 滤波时整个过程中需要操作的数据如图1 所示。其中每一个小方块表示一个4×4 像素的block，在滤mb_up 宏块时需要用到up 所指的数据，本次设计支持mbaff，在滤波过程中需要进行帧与场的转化，因此要用到上面二行的block。在滤波最左边的block时需要用到图中left 所指示的一列数据。
图1 滤波中的数据
2 dram 的规划与设计
dram 是一种成本低、容量大、应用广泛的存储介质， 对大规模数据的操作十分迅速。然而由于dram 中有一个row 的概念。在操作不同的row 的情况下dram 要先关闭当前的row， 同时再激活所需的row，这样就造成了很多的overhead。试想读取同一row 的10 个数据与分别处于10 个row 的10个数据，后者的时间耗费将会是前者的5～6 倍。因此dram 不适合对随机的分散的数据存取。
由于row 的存在， 对dram 中的数据结构的设计就显得尤为重要。要尽量减少不同row 之间的访问，这样才能提高数据的存取效率。本次设计中采用位宽为64 位的dram， 恰好可以存放8 个点的像素值。一幅图像亮度y、色度uv 分别存放在一个连续的空间中。
h.264 解码后的最后图像存入dram 中，显示模块不断的从dram 中取出数据送到显示器， 运动补偿单元也要从dram 中取出参考帧的数据。因此dram 的带宽尤为紧张。合理地分配dram 的带宽是设计中要考虑的一个重要方面。由于很多模块都要求对dram 进行操作， 为了有效地对dram 进行管理，设置了dramcontrol 模块来对dram 进行控制。
3 dramcontrol 模块的设计
dramcontrol 模块控制着dram 与外面其它模块的交互，是dram 与外部其它模块的接口。主要的功能包括dram 的自动刷新、dram 的命令的产生等。因为dram 工作时的状态多，本次设计中采用状态机的方式来实现。其中状态图如图2 所示。
图2 dramcontrol 中的状态转移图
设计中采用了均匀刷新的方式， 每隔一定的时间， 经过“idle → prechall → autorf →idle”的过程就完成一次刷新。状态转换的主体是读写操作过程，判决状态(decision)占用一个时钟周期判断当前操作所要执行的row 是否处于激活状态，如果没有激活则要先关闭当前处于激活状态的row，再激活所需的row(通过prech 和act 状态完成);如果已经激活，则直接进行读写操作。对于写操作，针对h.264 中滤波结束后要更新上边宏块，左边宏块以及自身宏块的数据来设计了writeup 或writeleft 和write 这三个状态写入dram，而且这些状态之间实现了时间上的无缝连接，构成了一个完整连贯的burst 写操作; 如果上边宏块的数据或左边宏块的数据块处于与待滤波宏块的数据块不同的row 中，则在writeup 或writelef 状态实现不在本tile 中数据块的写操作，这种情况的写效率显然比在同一个row 中的时候下降了， 但这是不可避免的， 当宏块处于本row 的最左边或最上边的时候，其上边宏块数据或左边宏块数据块必然是属于其它row 的。本次设计中，dram 一个地址存本block 和下一个block 的同一行， 因此这样就最多的避免了跨row 的操作。对于其它情况的写操作，使用write 状态完成。
4 sram 的规划与设计
在h.264 解码过程中，数据由熵解码经过运动补偿后再通过环路滤波最终送到存储器中，之后显示解码芯片从存储器中不断的提取数据送到显示器上，最终完成数据的解码，如图3 所示。在滤波的过程中，宏块中的数据频繁地被调用。而sram 的读写速度快的特点能很好地适用这一要求。因为在h.264 中最小的单元为block，运动矢量等都是以block 为单位来进行传递。因此以block 为单位来进行数据的存取会带来很大的方便。本设计中各个sram 每一个地址存放一个block 单元的数据(16 个像素点)，即采用128bit 的sram。
图3 dram 与其它模块之间的数据交互
在h.264 中运动补偿结束后的数据交由环路滤波运算后写入dram， 我们把写入dram 的这一过程称为store 过程，由store 模块负责。由图3 可以看出mc 与deblock 是一个串联的关系。为了提高解码的速度，我们将运动补偿与环路滤波并行执行，即当前解码的结束并不以环路滤波的结束为标志，而当前宏块的运动补偿一结束我们就可以开始下一个宏块的解码。经过大量的实验发现：mc 的时间远比block的时间大很多，当后一个模块要进行滤波时滤波模块早已准备完毕。最后对存储模块我们也同样的用并行的思想来加快解码的速度。结果当作mbx 的mc 时，做mb(x-1)的滤波，同时mb(x-2)存储。此时需要注意mb(x-1)的滤波和mb(x-2)的存储并不是同时开始。因为做mb(x-1)的滤波时也会影响到mb(x-2)中的数据。
因此我们要等mb(x-1)的第一条垂直边滤波结束后才开始mb(x-2)的存储。具体的时间关系如图4 所示。
图4 各个模块之间的时序关系图
(1)滤波前数据的存储及滤波结束后数据的存储
由于设计中采用此种流程，我们需要3 片sram来存储mc 的运算结果。这3 片sram 交替地进行mc、deblock 和store。我们称这3 片sram 为sram_mb，滤波结束后的数据也存储在此sram 中，在经store 模块将此数据存储到dram 中去。因为滤波结束时，恰好原来sram_mb 中的数据也已经成为无效数据。这里需要注意，由于有帧场自适应的情况存在，滤波结束后的数据如果帧场情况不一样，我们还需要根据数据不同的情况进行适当的帧场转化，之后再将数据存入dram。
(2)垂直滤波后的数据的存储
我们都知道滤波过程是一个先垂直后水平的过程，因此我们需要有一片sram 来存储水平滤波的结果。这片sram 就叫sram_buffer。因为水平滤波时正在从sram_mb 中读取数据，同一时间不能同时向sram 中读取、写入数据。因此我们用sram_buffer 来暂存垂直滤波结束后的数据。水平滤波时则从sram_buffer 中读取数据， 滤波后存储到sram_mb 中。
5 总结
本文对h.264 解码芯片中的滤波、存储模块作了深入的分析。并根据各个时间数据的特点作相应的存储器的设计， 这种设计方法经过验证能很好地处理h.264 中滤波及存储时的数据的调度。整个滤波过程约52 个周期就可以完成。在mbaff 情况时各种数据的转化时钟周期控制在70 个以内。这种设计符合要求，并在fpga 上验证后能够正常的运行，运行时钟达到60mhz，能实时地完成对高清图像的解码。
如何制作空气质量监测器
中芯国际二零二二年第三季度业绩公告
果断变身“预警大师”，地震监测仪DIY设计
基于西门子PLC机房电源监控物联网系统解决方案
828 B2B企业节“中软国际日” | 全面解析政企数字化办公升级之路
H.264视频解码芯片滤波存储器设计方案
Modbus TCP和PROFINET用于互操作和互连网络
const 和指针变量使用
第一代iphone 还能用吗？价格已被炒至十几万
2022年H1新型储能新增装机量达到12.7GW
触模式交流开关的工作原理及装配
LED显示屏在学校的应用，它具有什么优势
对于家用光伏逆变器你了解多少？
英创信息技术嵌入式主板EM9170的PWM介绍
腾讯推出了可以诊断帕金森症的AI辅助诊断技术
stm32单片机按键控制的用法解析
AI芯片攻坚战已然打响 深度学习技术逐渐成为主流
Saber软件与电源变换器设计实现
【从0开始创建AWTK应用程序】编译应用到嵌入式Linux平台运行
人工智能广西学会第一次会员代表大会在南宁举行
由此h.264 采用了一种自适应的滤波算法，能够很好地降低方块效应， 但同时也带来了极大的运算复杂度。在h.264 中，滤波后的数据将作为下一帧的参考帧，因此又称为环路滤波。研究表明：在h.264 解码过程中其中运动补偿(mc)约占30%，环路滤波(df)约占20%的解码时间，因此很好的设计mc 与df 对解码器的性能至关重要。
1 滤波过程用到的数据
h.264 中， 在mbaff 情况下的解码中宏块都是以宏块对的形式出现。因此在存储数据的时候也考虑到以一个宏块对的数据为单位进行存储。在一个宏块对中， 滤波时整个过程中需要操作的数据如图1 所示。其中每一个小方块表示一个4×4 像素的block，在滤mb_up 宏块时需要用到up 所指的数据，本次设计支持mbaff，在滤波过程中需要进行帧与场的转化，因此要用到上面二行的block。在滤波最左边的block时需要用到图中left 所指示的一列数据。
图1 滤波中的数据
2 dram 的规划与设计
dram 是一种成本低、容量大、应用广泛的存储介质， 对大规模数据的操作十分迅速。然而由于dram 中有一个row 的概念。在操作不同的row 的情况下dram 要先关闭当前的row， 同时再激活所需的row，这样就造成了很多的overhead。试想读取同一row 的10 个数据与分别处于10 个row 的10个数据，后者的时间耗费将会是前者的5～6 倍。因此dram 不适合对随机的分散的数据存取。
由于row 的存在， 对dram 中的数据结构的设计就显得尤为重要。要尽量减少不同row 之间的访问，这样才能提高数据的存取效率。本次设计中采用位宽为64 位的dram， 恰好可以存放8 个点的像素值。一幅图像亮度y、色度uv 分别存放在一个连续的空间中。
h.264 解码后的最后图像存入dram 中，显示模块不断的从dram 中取出数据送到显示器， 运动补偿单元也要从dram 中取出参考帧的数据。因此dram 的带宽尤为紧张。合理地分配dram 的带宽是设计中要考虑的一个重要方面。由于很多模块都要求对dram 进行操作， 为了有效地对dram 进行管理，设置了dramcontrol 模块来对dram 进行控制。
3 dramcontrol 模块的设计
dramcontrol 模块控制着dram 与外面其它模块的交互，是dram 与外部其它模块的接口。主要的功能包括dram 的自动刷新、dram 的命令的产生等。因为dram 工作时的状态多，本次设计中采用状态机的方式来实现。其中状态图如图2 所示。
图2 dramcontrol 中的状态转移图
设计中采用了均匀刷新的方式， 每隔一定的时间， 经过“idle → prechall → autorf →idle”的过程就完成一次刷新。状态转换的主体是读写操作过程，判决状态(decision)占用一个时钟周期判断当前操作所要执行的row 是否处于激活状态，如果没有激活则要先关闭当前处于激活状态的row，再激活所需的row(通过prech 和act 状态完成);如果已经激活，则直接进行读写操作。对于写操作，针对h.264 中滤波结束后要更新上边宏块，左边宏块以及自身宏块的数据来设计了writeup 或writeleft 和write 这三个状态写入dram，而且这些状态之间实现了时间上的无缝连接，构成了一个完整连贯的burst 写操作; 如果上边宏块的数据或左边宏块的数据块处于与待滤波宏块的数据块不同的row 中，则在writeup 或writelef 状态实现不在本tile 中数据块的写操作，这种情况的写效率显然比在同一个row 中的时候下降了， 但这是不可避免的， 当宏块处于本row 的最左边或最上边的时候，其上边宏块数据或左边宏块数据块必然是属于其它row 的。本次设计中，dram 一个地址存本block 和下一个block 的同一行， 因此这样就最多的避免了跨row 的操作。对于其它情况的写操作，使用write 状态完成。
4 sram 的规划与设计
在h.264 解码过程中，数据由熵解码经过运动补偿后再通过环路滤波最终送到存储器中，之后显示解码芯片从存储器中不断的提取数据送到显示器上，最终完成数据的解码，如图3 所示。在滤波的过程中，宏块中的数据频繁地被调用。而sram 的读写速度快的特点能很好地适用这一要求。因为在h.264 中最小的单元为block，运动矢量等都是以block 为单位来进行传递。因此以block 为单位来进行数据的存取会带来很大的方便。本设计中各个sram 每一个地址存放一个block 单元的数据(16 个像素点)，即采用128bit 的sram。
图3 dram 与其它模块之间的数据交互
在h.264 中运动补偿结束后的数据交由环路滤波运算后写入dram， 我们把写入dram 的这一过程称为store 过程，由store 模块负责。由图3 可以看出mc 与deblock 是一个串联的关系。为了提高解码的速度，我们将运动补偿与环路滤波并行执行，即当前解码的结束并不以环路滤波的结束为标志，而当前宏块的运动补偿一结束我们就可以开始下一个宏块的解码。经过大量的实验发现：mc 的时间远比block的时间大很多，当后一个模块要进行滤波时滤波模块早已准备完毕。最后对存储模块我们也同样的用并行的思想来加快解码的速度。结果当作mbx 的mc 时，做mb(x-1)的滤波，同时mb(x-2)存储。此时需要注意mb(x-1)的滤波和mb(x-2)的存储并不是同时开始。因为做mb(x-1)的滤波时也会影响到mb(x-2)中的数据。
因此我们要等mb(x-1)的第一条垂直边滤波结束后才开始mb(x-2)的存储。具体的时间关系如图4 所示。
图4 各个模块之间的时序关系图
(1)滤波前数据的存储及滤波结束后数据的存储
由于设计中采用此种流程，我们需要3 片sram来存储mc 的运算结果。这3 片sram 交替地进行mc、deblock 和store。我们称这3 片sram 为sram_mb，滤波结束后的数据也存储在此sram 中，在经store 模块将此数据存储到dram 中去。因为滤波结束时，恰好原来sram_mb 中的数据也已经成为无效数据。这里需要注意，由于有帧场自适应的情况存在，滤波结束后的数据如果帧场情况不一样，我们还需要根据数据不同的情况进行适当的帧场转化，之后再将数据存入dram。
(2)垂直滤波后的数据的存储
我们都知道滤波过程是一个先垂直后水平的过程，因此我们需要有一片sram 来存储水平滤波的结果。这片sram 就叫sram_buffer。因为水平滤波时正在从sram_mb 中读取数据，同一时间不能同时向sram 中读取、写入数据。因此我们用sram_buffer 来暂存垂直滤波结束后的数据。水平滤波时则从sram_buffer 中读取数据， 滤波后存储到sram_mb 中。
5 总结
本文对h.264 解码芯片中的滤波、存储模块作了深入的分析。并根据各个时间数据的特点作相应的存储器的设计， 这种设计方法经过验证能很好地处理h.264 中滤波及存储时的数据的调度。整个滤波过程约52 个周期就可以完成。在mbaff 情况时各种数据的转化时钟周期控制在70 个以内。这种设计符合要求，并在fpga 上验证后能够正常的运行，运行时钟达到60mhz，能实时地完成对高清图像的解码。
如何制作空气质量监测器
中芯国际二零二二年第三季度业绩公告
果断变身“预警大师”，地震监测仪DIY设计
基于西门子PLC机房电源监控物联网系统解决方案
828 B2B企业节“中软国际日” | 全面解析政企数字化办公升级之路
H.264视频解码芯片滤波存储器设计方案
Modbus TCP和PROFINET用于互操作和互连网络
const 和指针变量使用
第一代iphone 还能用吗？价格已被炒至十几万
2022年H1新型储能新增装机量达到12.7GW
触模式交流开关的工作原理及装配
LED显示屏在学校的应用，它具有什么优势
对于家用光伏逆变器你了解多少？
英创信息技术嵌入式主板EM9170的PWM介绍
腾讯推出了可以诊断帕金森症的AI辅助诊断技术
stm32单片机按键控制的用法解析
AI芯片攻坚战已然打响 深度学习技术逐渐成为主流
Saber软件与电源变换器设计实现
【从0开始创建AWTK应用程序】编译应用到嵌入式Linux平台运行
人工智能广西学会第一次会员代表大会在南宁举行