手淘H265编解码算法与工程优化
手淘的产品目前已经拓展到直播、短视频等领域，业务中存在着大量的图片和视频；自2015年起，图片和视频的数量呈指数级别高速增长；并且随着网络技术的发展与消费升级，用户对图片和视频清晰度的要求也不断提升，从最早的360p到现在的4k甚至8k，这些都带来了宽带成本与存储成本的大规模提升，这也就是为什么我们希望借助h265技术支持音视频业务的良性发展。
2、h.265介绍
2.1 成本效益
借助h265技术我们可以实现大规模并发场景下音视频业务的有效成本控制。带宽与存储成本不容小觑，与h264相比，以典型4k场景中使用h265技术为例，可在保持画质不变的同时节省达50%的带宽，而以720p直播为例使用h265则可节省30%流量。现在的流量有90%以上都来自移动端（手机）而非传统意义的pc、服务器、pad等；而对手机端尤其是android设备而言，碎片化带来的计算能力受限、性能层次不齐等问题使得h265上的很多优化与功能受到限制。如果我们直接将h265应用于手机端则会在解码时出现发热大、能耗高、实时编码无法正常进行等现象；与此同时，也缺少快速、高效且成熟的端上编码方案，这些都是亟待我们解决的问题。
2.2 编码框架
接下来介绍下h265的编码框架。h265编码框架由四个模块组成：输入一段视频的连续多帧，首先需要经过的是包含帧内预测、帧间预测两个操作的预测模块；随后进行变换量化模块也就是针对原始图像块与预测图像块的差值进行dct和量化；接下来解码模块会将图像解码以便用于下一帧的预测；最后的熵编码模块将针对预测信息和残差系数进行算数编码从而进一步消除编码冗余。
2.3 技术亮点
h265主要有哪些技术亮点？首先h265具有灵活的编码结构，拥有cupun、ctun等多个细分编码单元；其次h265的块大小也非常灵活，包括4×4、8×8等更多块划分方式；除此之外，h265的sample adaptive offset（sao）技术相对于deblock和alf具有更高性价比；最后在整个h265中包含了并行化设计，使得h265的优势更加明显。
除了以上技术亮点，h265相比于h264 在插值、mv预测、帧内预测、变换、去块滤波等方面进行了大量改进与优化。上图右侧表展示的是h.265相对于h.264在多方面带来提升的量化数据。
2.4 改进代价
h.265为音视频带来了技术提升，与此同时也带来了不容忽视的改进代价。码流的节省意味着计算复杂度的提升，从上图右侧的统计表中我们可以看出，相对于h264，h265的编码复杂程度增加了约3到4倍，解码复杂程度也增加了近50%。这就意味着传统的针对h.264的软硬件解决方案处理h.265会明显感到力不从心，我们需要妥善解决因方案升级带来的诸多技术挑战。
3、h.265高效编解码器的实现
即便如此，h.265的优势也不容忽视。上图展示的是我们在2017年开展的一项调研，以当时比较成熟的金山hevc解码器为例，对比标准h.265解码器，无论是在解码速度还是解码质量上金山的hevc解码器都有很大优势，这项调研结果也让我们对h.265的未来发展更加充满信心。
3.1 rdo优化
手淘在h.265编解码领域作出了哪些探索？我们的优化探索主要分为两部分：算法优化与工程优化，而算法优化主要集中在rdo方向。由于hevc支持不同的ctu/cu/pu/tu组合模式，可选编码模式激增；搜寻最优编码模式时，随着编码模式数量的增加，率失真计算会成为编码过程的计算瓶颈，这主要是由于传统h.264中基于satd的率失真优化不可在h.265中使用，需要精度更高的失真代价计算。为了优化rdo以实现更高效的处理效果，我们进行了以下7项改进：
高效预判cu层次。
采用基于纹理信息等内容的cu遍历提前终止策略。
基于卷积神经网络解决图像分块的非线性问题。
提前预判残差azb块，从而减少d与r的计算。
使用量化误差d和残差比特数r的快速计算模型。
采用基于单调性的me快速计算模型。
在35中模式中快速选择合适的帧内预测模式。
1）模式划分ctu/cu/pu/tu
以pu为例，h.264有7种划分模式，而h.265则有24种划分模式。
如果统计h.265中一个图像可以选择的所有划分模式，一个块有高达384种可选择的划分模式。只有计算完成所有选择后才能确定最佳划分方案，如何缩短计算如此多选择所需要的时间？
2）rdo优化
快速模式决策——深度预估
首先，由于每块的划分层级与划分深度和当前块的参考帧块之间有很强的相关性，利用时间和空间的相关性，我们可从参考块的深度预估本块的深度范围并得到min-depth与max-depth；其次，即使本块与上一块或参考块有相关关系，本块也有一些自己独有的信息可被利用，我们可通过结合本块的运动与纹理信息界定深度的精度范围，确定具体划分深度的精度范围。
快速模式决策——纹理corner检测
通过对图像纹理的检测我们可快速选择最优的划分模式。迅速识别平坦或对比度较强的纹理，提升划分效率。
快速模式决策——cnn分类
应对带corner的纹理时，可通过按照强度判决是否继续划分来实现快速选择，这对线性变化的处理效果较好，而在实际应用中我们需要面对很多非线性变化的应用场景，此时就需要cnn卷积神经网络+深度学习的模型对非线性变化进行纹理分类与快速模式选择，这里的线性分析与非线性分析是分开进行的。
快速模式决策——azb决策
azb（all zero block）是量化后系数为全0的块，通过azb提前判别决策可对块进行快速归类，从而减少d与r的计算。
distortion&bits估计
纵览整个劣势帧的计算过程 ，计算dp需原图到重建图像间的sse，也就是完成编码模式p的预测、变换、量化、反量化、反变换、重建等。为避免这样冗长而复杂的计算过程，我们可以在变换与量化后在频域计算残差能量；而码率统计 则是通过一次熵编码实现，为了提高计算效率我们可以对残差数据的码率统计建立线性估计模型并根据nxn变换矩阵量化后的特征估计其码率，可减少近50%的计算量。
fme最优搜索位置估计
这里我们主要进行的优化是，通过整像素点及1/2像素点的sad值和其坐标来估算出最优1/4像素点，从而加速整个搜索过程。
快速帧率预测方法
我们采用了基于贝叶斯模型开发的一套帧内预测快速决策方法，可为帧内预测速度带来一倍的提升并将损失降低到0.01db。
3）码率控制优化
我们使用以下策略对码率控制与lookahead进行优化，首先是基于cutree的信息传递来调整cuqp，其次是基于rates和复杂度的ibp frameqp，最后是·基于参考强度的slice type decision，这一部分内容我会在livevideostackcon 2018上作出更加详细描述 。
4）参考帧优化——长期参考帧
我们知道，参考帧大都在一个gop范围内，往往有更好的编码质量，参考帧有助于提高被参考帧的质量，而长期参考帧可能源于多个gop。这就使得对于背景很少发生变化的直播场景，长期参考帧可有效减少信息经过多帧传递带来的损失，引用长期参考帧可将平均ev提高大概0.25db，
上图展示的是各模块计算量占比，以上就是我们围绕rdo领域进行的多项探索。
3.2 工程化优化方法
基于工程方面我们也进行了多项优化，首先是针对一些特殊函数的汇编计算优化，我们通过采用neon指令集优化，为典型计算性能带来2～4倍的提升，如rdo（sse、sad）模块、运动搜索模块、帧内预测模块等均提升两倍以上；其次，针对现在移动端广泛使用的多核处理器，我们优化多核并行计算并适应现代处理器的架构；除此之外，我们也优化bottleneck的指令和访存，从而进一步提升整体性能。
3.3 优化成果
1）软件编码
经过算法与工程两个层次上的优化，我们为hevc编解码带来了明显的性能提升。就编码速度而言，手淘比x.265 17年初的版本提升3倍以上并可在iphone6上实现720p&30帧的实时编码；若想实现相同的编码质量，手淘的编码码率相对于x.265降低了至少15%，上图展示的便是具体的测试结果。
2）软件解码
软解优化更多集中在工程方面也就是neon指令集部分，较少在算法层面进行调整。通过对neon指令集的优化与一些逻辑上的改写，手淘可实现相对于ffmpeg提升150%以上的视频解码速度，例如将1mbps 720p h.265的测试用例用于小米5手机进行解码测试，其解码速度可达两百帧以上，而cpu的占用率也控制在20%以下；在处理图片方面，例如对h.265的标准i帧处理上我们也做出了不少优化和改进，apg的图片解码速度相对于ffmpeg提升70%以上。
4、总结与未来展望
这里我们对视频编码标准的未来进行简单的展望。过去10年大家都是按照h.264、h.265的标准；而在流媒体渐成趋势的未来，google提出的vp8、vp9、vp10，还有h.266、av1等标准将推动音视频行业向更光明的未来发展。技术的进步为我们实现更多更新潮的效果打下基础，助力消费升级与用户体验的日渐完善。
如果简单对比h.266与av1我们可以看到，因为h.266引入了更多的四叉树二叉树结构（qtbt），整体的bd-rate提升近4%；但h.266对比h.265，在保持画质不变的情况下码流降低了近1倍而整体编码时间却增加了2倍左右，整体解码时间则增加近1倍。基于之前的调研我们发现，av1的时间复杂度是x.265的2000～3000倍，这说明av1未来的改进与优化任重而道远。
q&a
q：vp9在将来会大面积普及吗？
a：我认为vp9当前存在最大的妨碍其普遍推行的问题是兼容性，因为现在很多设备都采用向下兼容的策略，而vp9在诸多设备上的普及率不高；如果大家在直播等领域使用vp9进行编码则必须经过转码之后才能通过cdn分享，随后重新转成h.264或h.265再播放，这样势必会带来很多麻烦。
q：能否在客户端实现硬编？
a：现在的一些高端手机已经可以实现性能稳定的硬编h.265，例如对ios而言，iphone7以上的机型都可稳定实现。但在较为碎片化的安卓机型上，由于安卓机型解码时对多种协议的支持力度不统一，加上不同档次的手机性能差距过大，编码性能受到很大影响。手淘上主播的机型主要是ios，所以在淘宝上我们主要采用硬编方案；而对于直播环境，因为需要cdn进行内容分发，而cdn重点支持的链路基本属于h.264，编码方式受限于整个直播的链路环境。
我国光纤连接器产业成功打破了国外技术壁垒
带32位MCU和高精度ADC的SoC产品（五）
关于推动制造业高质量发展坚定不移打造制造强市的若干措施
三星推首款A系列5G手机，搭载骁龙855！该机售价会是多少呢？
家用级路由器和工业级路由器的功能区别与应用差异-智联物联ZR2000
手淘H265编解码算法与工程优化
楼宇养猪环境实时监测，探索智慧养殖新道路
Dell NativeEdge：释放边缘创新的最佳实践
人类椎间盘单细胞图谱
德州仪器推出全球首批可编程差动放大器（PDA）
TWS耳机pogopin电极厂家技术难点
Simplay Labs选择Agilent HDMI测试解决
CT-ICP：实时弹性激光雷达里程计与回环检测
嵌入式FIFO数据传输系统详解
基于LIN2.1协议的车窗控制系统的应用
我国5G基站累计达到293.7万个，覆盖广度深度持续拓展
“十四五”规划明确建设现代物流体系 旷视科技以AI助推智慧物流
蓝牙语音识别芯片走进智能家居控制与管理系统
2015年底，80%的智能硬件团队会死在沙滩上
UVLED固化光源在DD电机洗衣机制造加工上的应用
2、h.265介绍
2.1 成本效益
借助h265技术我们可以实现大规模并发场景下音视频业务的有效成本控制。带宽与存储成本不容小觑，与h264相比，以典型4k场景中使用h265技术为例，可在保持画质不变的同时节省达50%的带宽，而以720p直播为例使用h265则可节省30%流量。现在的流量有90%以上都来自移动端（手机）而非传统意义的pc、服务器、pad等；而对手机端尤其是android设备而言，碎片化带来的计算能力受限、性能层次不齐等问题使得h265上的很多优化与功能受到限制。如果我们直接将h265应用于手机端则会在解码时出现发热大、能耗高、实时编码无法正常进行等现象；与此同时，也缺少快速、高效且成熟的端上编码方案，这些都是亟待我们解决的问题。
2.2 编码框架
接下来介绍下h265的编码框架。h265编码框架由四个模块组成：输入一段视频的连续多帧，首先需要经过的是包含帧内预测、帧间预测两个操作的预测模块；随后进行变换量化模块也就是针对原始图像块与预测图像块的差值进行dct和量化；接下来解码模块会将图像解码以便用于下一帧的预测；最后的熵编码模块将针对预测信息和残差系数进行算数编码从而进一步消除编码冗余。
2.3 技术亮点
h265主要有哪些技术亮点？首先h265具有灵活的编码结构，拥有cupun、ctun等多个细分编码单元；其次h265的块大小也非常灵活，包括4×4、8×8等更多块划分方式；除此之外，h265的sample adaptive offset（sao）技术相对于deblock和alf具有更高性价比；最后在整个h265中包含了并行化设计，使得h265的优势更加明显。
除了以上技术亮点，h265相比于h264 在插值、mv预测、帧内预测、变换、去块滤波等方面进行了大量改进与优化。上图右侧表展示的是h.265相对于h.264在多方面带来提升的量化数据。
2.4 改进代价
h.265为音视频带来了技术提升，与此同时也带来了不容忽视的改进代价。码流的节省意味着计算复杂度的提升，从上图右侧的统计表中我们可以看出，相对于h264，h265的编码复杂程度增加了约3到4倍，解码复杂程度也增加了近50%。这就意味着传统的针对h.264的软硬件解决方案处理h.265会明显感到力不从心，我们需要妥善解决因方案升级带来的诸多技术挑战。
3、h.265高效编解码器的实现
即便如此，h.265的优势也不容忽视。上图展示的是我们在2017年开展的一项调研，以当时比较成熟的金山hevc解码器为例，对比标准h.265解码器，无论是在解码速度还是解码质量上金山的hevc解码器都有很大优势，这项调研结果也让我们对h.265的未来发展更加充满信心。
3.1 rdo优化
手淘在h.265编解码领域作出了哪些探索？我们的优化探索主要分为两部分：算法优化与工程优化，而算法优化主要集中在rdo方向。由于hevc支持不同的ctu/cu/pu/tu组合模式，可选编码模式激增；搜寻最优编码模式时，随着编码模式数量的增加，率失真计算会成为编码过程的计算瓶颈，这主要是由于传统h.264中基于satd的率失真优化不可在h.265中使用，需要精度更高的失真代价计算。为了优化rdo以实现更高效的处理效果，我们进行了以下7项改进：
高效预判cu层次。
采用基于纹理信息等内容的cu遍历提前终止策略。
基于卷积神经网络解决图像分块的非线性问题。
提前预判残差azb块，从而减少d与r的计算。
使用量化误差d和残差比特数r的快速计算模型。
采用基于单调性的me快速计算模型。
在35中模式中快速选择合适的帧内预测模式。
1）模式划分ctu/cu/pu/tu
以pu为例，h.264有7种划分模式，而h.265则有24种划分模式。
如果统计h.265中一个图像可以选择的所有划分模式，一个块有高达384种可选择的划分模式。只有计算完成所有选择后才能确定最佳划分方案，如何缩短计算如此多选择所需要的时间？
2）rdo优化
快速模式决策——深度预估
首先，由于每块的划分层级与划分深度和当前块的参考帧块之间有很强的相关性，利用时间和空间的相关性，我们可从参考块的深度预估本块的深度范围并得到min-depth与max-depth；其次，即使本块与上一块或参考块有相关关系，本块也有一些自己独有的信息可被利用，我们可通过结合本块的运动与纹理信息界定深度的精度范围，确定具体划分深度的精度范围。
快速模式决策——纹理corner检测
通过对图像纹理的检测我们可快速选择最优的划分模式。迅速识别平坦或对比度较强的纹理，提升划分效率。
快速模式决策——cnn分类
应对带corner的纹理时，可通过按照强度判决是否继续划分来实现快速选择，这对线性变化的处理效果较好，而在实际应用中我们需要面对很多非线性变化的应用场景，此时就需要cnn卷积神经网络+深度学习的模型对非线性变化进行纹理分类与快速模式选择，这里的线性分析与非线性分析是分开进行的。
快速模式决策——azb决策
azb（all zero block）是量化后系数为全0的块，通过azb提前判别决策可对块进行快速归类，从而减少d与r的计算。
distortion&bits估计
纵览整个劣势帧的计算过程 ，计算dp需原图到重建图像间的sse，也就是完成编码模式p的预测、变换、量化、反量化、反变换、重建等。为避免这样冗长而复杂的计算过程，我们可以在变换与量化后在频域计算残差能量；而码率统计 则是通过一次熵编码实现，为了提高计算效率我们可以对残差数据的码率统计建立线性估计模型并根据nxn变换矩阵量化后的特征估计其码率，可减少近50%的计算量。
fme最优搜索位置估计
这里我们主要进行的优化是，通过整像素点及1/2像素点的sad值和其坐标来估算出最优1/4像素点，从而加速整个搜索过程。
快速帧率预测方法
我们采用了基于贝叶斯模型开发的一套帧内预测快速决策方法，可为帧内预测速度带来一倍的提升并将损失降低到0.01db。
3）码率控制优化
我们使用以下策略对码率控制与lookahead进行优化，首先是基于cutree的信息传递来调整cuqp，其次是基于rates和复杂度的ibp frameqp，最后是·基于参考强度的slice type decision，这一部分内容我会在livevideostackcon 2018上作出更加详细描述 。
4）参考帧优化——长期参考帧
我们知道，参考帧大都在一个gop范围内，往往有更好的编码质量，参考帧有助于提高被参考帧的质量，而长期参考帧可能源于多个gop。这就使得对于背景很少发生变化的直播场景，长期参考帧可有效减少信息经过多帧传递带来的损失，引用长期参考帧可将平均ev提高大概0.25db，
上图展示的是各模块计算量占比，以上就是我们围绕rdo领域进行的多项探索。
3.2 工程化优化方法
基于工程方面我们也进行了多项优化，首先是针对一些特殊函数的汇编计算优化，我们通过采用neon指令集优化，为典型计算性能带来2～4倍的提升，如rdo（sse、sad）模块、运动搜索模块、帧内预测模块等均提升两倍以上；其次，针对现在移动端广泛使用的多核处理器，我们优化多核并行计算并适应现代处理器的架构；除此之外，我们也优化bottleneck的指令和访存，从而进一步提升整体性能。
3.3 优化成果
1）软件编码
经过算法与工程两个层次上的优化，我们为hevc编解码带来了明显的性能提升。就编码速度而言，手淘比x.265 17年初的版本提升3倍以上并可在iphone6上实现720p&30帧的实时编码；若想实现相同的编码质量，手淘的编码码率相对于x.265降低了至少15%，上图展示的便是具体的测试结果。
2）软件解码
软解优化更多集中在工程方面也就是neon指令集部分，较少在算法层面进行调整。通过对neon指令集的优化与一些逻辑上的改写，手淘可实现相对于ffmpeg提升150%以上的视频解码速度，例如将1mbps 720p h.265的测试用例用于小米5手机进行解码测试，其解码速度可达两百帧以上，而cpu的占用率也控制在20%以下；在处理图片方面，例如对h.265的标准i帧处理上我们也做出了不少优化和改进，apg的图片解码速度相对于ffmpeg提升70%以上。
4、总结与未来展望
这里我们对视频编码标准的未来进行简单的展望。过去10年大家都是按照h.264、h.265的标准；而在流媒体渐成趋势的未来，google提出的vp8、vp9、vp10，还有h.266、av1等标准将推动音视频行业向更光明的未来发展。技术的进步为我们实现更多更新潮的效果打下基础，助力消费升级与用户体验的日渐完善。
如果简单对比h.266与av1我们可以看到，因为h.266引入了更多的四叉树二叉树结构（qtbt），整体的bd-rate提升近4%；但h.266对比h.265，在保持画质不变的情况下码流降低了近1倍而整体编码时间却增加了2倍左右，整体解码时间则增加近1倍。基于之前的调研我们发现，av1的时间复杂度是x.265的2000～3000倍，这说明av1未来的改进与优化任重而道远。
q&a
q：vp9在将来会大面积普及吗？
a：我认为vp9当前存在最大的妨碍其普遍推行的问题是兼容性，因为现在很多设备都采用向下兼容的策略，而vp9在诸多设备上的普及率不高；如果大家在直播等领域使用vp9进行编码则必须经过转码之后才能通过cdn分享，随后重新转成h.264或h.265再播放，这样势必会带来很多麻烦。
q：能否在客户端实现硬编？
a：现在的一些高端手机已经可以实现性能稳定的硬编h.265，例如对ios而言，iphone7以上的机型都可稳定实现。但在较为碎片化的安卓机型上，由于安卓机型解码时对多种协议的支持力度不统一，加上不同档次的手机性能差距过大，编码性能受到很大影响。手淘上主播的机型主要是ios，所以在淘宝上我们主要采用硬编方案；而对于直播环境，因为需要cdn进行内容分发，而cdn重点支持的链路基本属于h.264，编码方式受限于整个直播的链路环境。
我国光纤连接器产业成功打破了国外技术壁垒
带32位MCU和高精度ADC的SoC产品（五）
关于推动制造业高质量发展坚定不移打造制造强市的若干措施
三星推首款A系列5G手机，搭载骁龙855！该机售价会是多少呢？
家用级路由器和工业级路由器的功能区别与应用差异-智联物联ZR2000
手淘H265编解码算法与工程优化
楼宇养猪环境实时监测，探索智慧养殖新道路
Dell NativeEdge：释放边缘创新的最佳实践
人类椎间盘单细胞图谱
德州仪器推出全球首批可编程差动放大器（PDA）
TWS耳机pogopin电极厂家技术难点
Simplay Labs选择Agilent HDMI测试解决
CT-ICP：实时弹性激光雷达里程计与回环检测
嵌入式FIFO数据传输系统详解
基于LIN2.1协议的车窗控制系统的应用
我国5G基站累计达到293.7万个，覆盖广度深度持续拓展
“十四五”规划明确建设现代物流体系 旷视科技以AI助推智慧物流
蓝牙语音识别芯片走进智能家居控制与管理系统
2015年底，80%的智能硬件团队会死在沙滩上
UVLED固化光源在DD电机洗衣机制造加工上的应用