MobileAI2021的图像超分竞赛的最佳方案
今天要介绍的mobileai2021的图像超分竞赛的最佳方案，无论是psnr指标还是推理速度均显著优于其他方案，推理速度达到了手机端实时（《40ms@1080p）。
abstract
尽管基于深度学习的图像超分取得前所未有的进展，但实际应用要求i越来越高的性能、效率，尤其是移动端推理效率。智能手机的升级迭代、5g的盛行，用户能感知到的图像/视频分辨率越来越高，从早期的480过度到720p，再到1080p，再到最近的1k、4k。高分辨率需要更高的计算量，占用更多的ram，这就导致了端侧设备的部署问题。
本文旨在设计一种8-bit量化版高效网络并将其部署到移动端，整个设计过程如下：
首先，我们通过将轻量型超分架构分解并分析每个节点的推理延迟，进而确定可利用的算子；
然后，我们深入分析了何种类型的架构便于进行8-bit量化并提出了abpn（anchor-basedplainnetwork）；
最后，我们采用量化感知训练（quantization-awaretraining，qat）策略进一步提升模型的性能。
我们所设计的模型能以2db指标优于8-bit量化版fsrcnn，同时满足实际速度需求。
method
接下来，我们从节点延迟测试开始，然后引出本文方案背后的思考，最后构建所提abpn。
meta-nodelatency
由于我们的目标在于构建一种实时量化模型用于真实场景（比如实时视频超分）。我们需要做的第一件事就是构建可移植算子集并统计每个算子的耗时。
我们将当前轻量型网络（如edsr、carn、imdn、idn、latticenet）进行分解构建初始算子集；
我们在synapticsdolphin平台（专用npu）上测试每个算子的延迟。
上述算子可以分为四大类：张量操作、卷积算子、激活算子、resize，见上表。从上表可以得出四个发现：
近期的sota轻量架构使用的技术似乎难以在移动端部署。
edsr采用了大量的resblock，每个resblock会引入元素加，该操作甚至比高速优化的卷积还要慢；
carn采用了全局与局部特征集成，每个集成过程包含一个concat与一个卷积，仅仅带来了0.09db指标提升；
由于大量的特征分离与拼接，idn与imdn同样存在端侧部署问题；
latticenet的部署问题更为严重，它采用了16个ca模块，每个ca模块包含一个元素加、一个元素乘、两个池化层，四个卷积，导致了过高的计算负担。
另一个常见问题：它们都需要保存前面层的特征并采用控制数据流动。这种长距离依赖会导致ram的低频处理，这是因为端侧内存非常有限。
因此，我们将不考虑特征融合、特征蒸馏、组卷积以及注意力机制。
尽管卷积的参数量是卷积的9倍，但由于并行计算的缘故，两者的推理速度差别并不大。因此，我们采用卷积以得到更大感受野。
在激活函数方面，我们选择relu。这是因为它要比leakyrelu速度更快，而且i两者导致的性能差异非常小；
由于hr与lr之间的坐标映射导致resize操作的推理速度过慢。
anchor-basedresiduallearning
正如前一节所讨论的，能用的算子非常有限。为得到一个好的解决方案，我们深入分析了架构设计与int8量化之间的相关性。
据我们所知，其难度主要在于i2i（image-to-image，i2i）映射的高动态范围，最直接的想法是生成低标准差权值与激活。有两种方式可以达成该目的：
添加bn层：bn往往被集成在resblock中，尽管不会导致额外耗时与内存占用，但会导致0.2db的性能下降。
残差学习：近邻像素往往具有相似的值，很自然的一种选择就是学习残差。残差学习又可以分为以下两种：
isrl：图像空间的残差学习
fsrl：特征空间的残差学习。
图像空间的残差学习在早期的工作（如vdsr，drrn）中有得到应用，而特征空间的残差学习则更多在近期的sota方案（如srgan、idn、imdn）中得到应用并取得了稍优的性能。然而，我们认为：isrl更适合于int8量化。
从前面table1中可以看到：图像空间插值存在不可接受的推理耗时，甚至仅仅一次resize都无法满足实时需求。为解决该问题，我们提出了abrl（anchor-basedresiduallearning）：它直接在lr空间复制每个像素9次为hr空间的每个像素生成锚点。受益于pixelshuffle层，所提abrl可以通过一个concat+一个元素加操作实现。
上图给出了四种类型残差学习的区别所在，从推理耗时角度来看：
fsrl仅需要一个元素加操作，它的耗时为5.2ms；
abrl包含一个通道拼接与一个元素加，总结耗时15.6ms，约为最近邻插值的四分之一。
所提abrl有这样两个优点：
相比fsrl，abrl可以显著提升int8量化模型的性能，提升高达0.6db；
多分枝架构可以通过并行加速，因此abrl与fsrl的实际推理耗时相当。abrl与fsrl的主要耗时源自ram的访问速度慢。
networkarchitecture
上图给出了本文所提架构示意图，它包含四个主要模块：
浅层特征提取：该过程由卷积+relu构成，定义如下：
深层特征提取：该过程采用多个conv-relu组合构成，描述如下：
为充分利用并行推理，我们设置conv-relu的数量为5以匹配上分支的开销，这意味着当conv-relu数量小于5时推理速度不变。最后，我们采用一个卷积将前述特征变换到hr图像空间：
然后再采用本文所提abrl得到超分特征：
重建模块：该模块采用pixelshuffle进对前述所得超分超分进行像素重排得到超分图像。
后处理模块：该模块采用clip操作约束超分输出，即输出最大值不超过255，最小值不小于0。移除该操作会导致输出分布偏移，进而导致量化误差。
lossfunction
在损失函数方面，我们采用了简单的l1损失，定义如下：
experiments
在训练方面，图像块尺寸为64x64，batch=16，优化器为adam，初始学习率0.001，每200epoch减半，合计训练1000epoch。训练数据为div2k，在rgb空间评估性能。
qat是一种流程的提升模型性能的量化技术且无额外推理耗时。我们设置初始学习率为0.0001，每50epoch减半，合计训练200epoch。qat可以进一步提升0.06的b性能，此时int8模型仅比fp32性能低0.07db。
residuallearning
上表对比了残差学习的性能、耗时。从中可以看到：
对于fp32模型而言，fsrl模型取得了最佳性能，其他模型性能相当；
对于int8模型而言，不带残差的模型会出现严重性能下降（-1.93db），fsrl模型会下降0.78db，而isrl则则仅仅下降0.13db。因此，残差学习可以极大缓解int8量化过程中的高动态范围问题，而isrl变现优于fsrl。
testonsnapdragon820
我们在snapdragon820的手机平台上，采用aibenchmark软件测试了所提方案的cpu、gpu以及nnapi耗时，结果见下表。
mai2021sisrchallenge
本文起初用于参加mai2021图像超分竞赛，结果见下表。注：首次的提交的模型在模型尾部没有添加clip操作，导致量化性能非常差（小于20db）；在竞赛结束后才解决了该问题并提交了校正后模型。受益于素体abrl，所提方案取得了最佳psnr指标，同时具有更快的推理速度。
Linux电源管理实例分析
国泰证券：风起粤港澳大湾区
ARM Cortex-A78、Cortex-X1、Mali-G78三种技术对比
使用LPC1700的IEC 60601
串口屏解决方案：大彩串口屏在智能健身跑步机行业的应用
MobileAI2021的图像超分竞赛的最佳方案
最大利用率的LED灯电路
科技加持|三维扫描让BIM施工变得更加高效快捷_泰来三维
2020年11月中国智能手机出货量同比下降17.0%
怎样设计面向智能眼镜和其它高端可穿戴设备的芯片组
小米POCO M3海外发布:支持18W有线快充
夏普扩大提前退休制度至普通员工 最多发放12个月薪资补贴
基于可见近红外技术的棉花、地膜快速识别研究介绍
小米12和小米12pro有什么区别_小米12和小米12pro区别
涡轮增压发动机好不好_涡轮增压大揭秘
运算放大器放大的是电流还是电压
聚酰亚胺发展的四大新方向和透明PI (CPI)
大连华工为您揭秘防水手机的原理
苹果ios15哪些手机可以升级 苹果ios15支持机型名单
华为Mate X 5G开售瞬间抢光，Q2智能手机应用处理器市场份额发布
abstract
尽管基于深度学习的图像超分取得前所未有的进展，但实际应用要求i越来越高的性能、效率，尤其是移动端推理效率。智能手机的升级迭代、5g的盛行，用户能感知到的图像/视频分辨率越来越高，从早期的480过度到720p，再到1080p，再到最近的1k、4k。高分辨率需要更高的计算量，占用更多的ram，这就导致了端侧设备的部署问题。
本文旨在设计一种8-bit量化版高效网络并将其部署到移动端，整个设计过程如下：
首先，我们通过将轻量型超分架构分解并分析每个节点的推理延迟，进而确定可利用的算子；
然后，我们深入分析了何种类型的架构便于进行8-bit量化并提出了abpn（anchor-basedplainnetwork）；
最后，我们采用量化感知训练（quantization-awaretraining，qat）策略进一步提升模型的性能。
我们所设计的模型能以2db指标优于8-bit量化版fsrcnn，同时满足实际速度需求。
method
接下来，我们从节点延迟测试开始，然后引出本文方案背后的思考，最后构建所提abpn。
meta-nodelatency
由于我们的目标在于构建一种实时量化模型用于真实场景（比如实时视频超分）。我们需要做的第一件事就是构建可移植算子集并统计每个算子的耗时。
我们将当前轻量型网络（如edsr、carn、imdn、idn、latticenet）进行分解构建初始算子集；
我们在synapticsdolphin平台（专用npu）上测试每个算子的延迟。
上述算子可以分为四大类：张量操作、卷积算子、激活算子、resize，见上表。从上表可以得出四个发现：
近期的sota轻量架构使用的技术似乎难以在移动端部署。
edsr采用了大量的resblock，每个resblock会引入元素加，该操作甚至比高速优化的卷积还要慢；
carn采用了全局与局部特征集成，每个集成过程包含一个concat与一个卷积，仅仅带来了0.09db指标提升；
由于大量的特征分离与拼接，idn与imdn同样存在端侧部署问题；
latticenet的部署问题更为严重，它采用了16个ca模块，每个ca模块包含一个元素加、一个元素乘、两个池化层，四个卷积，导致了过高的计算负担。
另一个常见问题：它们都需要保存前面层的特征并采用控制数据流动。这种长距离依赖会导致ram的低频处理，这是因为端侧内存非常有限。
因此，我们将不考虑特征融合、特征蒸馏、组卷积以及注意力机制。
尽管卷积的参数量是卷积的9倍，但由于并行计算的缘故，两者的推理速度差别并不大。因此，我们采用卷积以得到更大感受野。
在激活函数方面，我们选择relu。这是因为它要比leakyrelu速度更快，而且i两者导致的性能差异非常小；
由于hr与lr之间的坐标映射导致resize操作的推理速度过慢。
anchor-basedresiduallearning
正如前一节所讨论的，能用的算子非常有限。为得到一个好的解决方案，我们深入分析了架构设计与int8量化之间的相关性。
据我们所知，其难度主要在于i2i（image-to-image，i2i）映射的高动态范围，最直接的想法是生成低标准差权值与激活。有两种方式可以达成该目的：
添加bn层：bn往往被集成在resblock中，尽管不会导致额外耗时与内存占用，但会导致0.2db的性能下降。
残差学习：近邻像素往往具有相似的值，很自然的一种选择就是学习残差。残差学习又可以分为以下两种：
isrl：图像空间的残差学习
fsrl：特征空间的残差学习。
图像空间的残差学习在早期的工作（如vdsr，drrn）中有得到应用，而特征空间的残差学习则更多在近期的sota方案（如srgan、idn、imdn）中得到应用并取得了稍优的性能。然而，我们认为：isrl更适合于int8量化。
从前面table1中可以看到：图像空间插值存在不可接受的推理耗时，甚至仅仅一次resize都无法满足实时需求。为解决该问题，我们提出了abrl（anchor-basedresiduallearning）：它直接在lr空间复制每个像素9次为hr空间的每个像素生成锚点。受益于pixelshuffle层，所提abrl可以通过一个concat+一个元素加操作实现。
上图给出了四种类型残差学习的区别所在，从推理耗时角度来看：
fsrl仅需要一个元素加操作，它的耗时为5.2ms；
abrl包含一个通道拼接与一个元素加，总结耗时15.6ms，约为最近邻插值的四分之一。
所提abrl有这样两个优点：
相比fsrl，abrl可以显著提升int8量化模型的性能，提升高达0.6db；
多分枝架构可以通过并行加速，因此abrl与fsrl的实际推理耗时相当。abrl与fsrl的主要耗时源自ram的访问速度慢。
networkarchitecture
上图给出了本文所提架构示意图，它包含四个主要模块：
浅层特征提取：该过程由卷积+relu构成，定义如下：
深层特征提取：该过程采用多个conv-relu组合构成，描述如下：
为充分利用并行推理，我们设置conv-relu的数量为5以匹配上分支的开销，这意味着当conv-relu数量小于5时推理速度不变。最后，我们采用一个卷积将前述特征变换到hr图像空间：
然后再采用本文所提abrl得到超分特征：
重建模块：该模块采用pixelshuffle进对前述所得超分超分进行像素重排得到超分图像。
后处理模块：该模块采用clip操作约束超分输出，即输出最大值不超过255，最小值不小于0。移除该操作会导致输出分布偏移，进而导致量化误差。
lossfunction
在损失函数方面，我们采用了简单的l1损失，定义如下：
experiments
在训练方面，图像块尺寸为64x64，batch=16，优化器为adam，初始学习率0.001，每200epoch减半，合计训练1000epoch。训练数据为div2k，在rgb空间评估性能。
qat是一种流程的提升模型性能的量化技术且无额外推理耗时。我们设置初始学习率为0.0001，每50epoch减半，合计训练200epoch。qat可以进一步提升0.06的b性能，此时int8模型仅比fp32性能低0.07db。
residuallearning
上表对比了残差学习的性能、耗时。从中可以看到：
对于fp32模型而言，fsrl模型取得了最佳性能，其他模型性能相当；
对于int8模型而言，不带残差的模型会出现严重性能下降（-1.93db），fsrl模型会下降0.78db，而isrl则则仅仅下降0.13db。因此，残差学习可以极大缓解int8量化过程中的高动态范围问题，而isrl变现优于fsrl。
testonsnapdragon820
我们在snapdragon820的手机平台上，采用aibenchmark软件测试了所提方案的cpu、gpu以及nnapi耗时，结果见下表。
mai2021sisrchallenge
本文起初用于参加mai2021图像超分竞赛，结果见下表。注：首次的提交的模型在模型尾部没有添加clip操作，导致量化性能非常差（小于20db）；在竞赛结束后才解决了该问题并提交了校正后模型。受益于素体abrl，所提方案取得了最佳psnr指标，同时具有更快的推理速度。
Linux电源管理实例分析
国泰证券：风起粤港澳大湾区
ARM Cortex-A78、Cortex-X1、Mali-G78三种技术对比
使用LPC1700的IEC 60601
串口屏解决方案：大彩串口屏在智能健身跑步机行业的应用
MobileAI2021的图像超分竞赛的最佳方案
最大利用率的LED灯电路
科技加持|三维扫描让BIM施工变得更加高效快捷_泰来三维
2020年11月中国智能手机出货量同比下降17.0%
怎样设计面向智能眼镜和其它高端可穿戴设备的芯片组
小米POCO M3海外发布:支持18W有线快充
夏普扩大提前退休制度至普通员工 最多发放12个月薪资补贴
基于可见近红外技术的棉花、地膜快速识别研究介绍
小米12和小米12pro有什么区别_小米12和小米12pro区别
涡轮增压发动机好不好_涡轮增压大揭秘
运算放大器放大的是电流还是电压
聚酰亚胺发展的四大新方向和透明PI (CPI)
大连华工为您揭秘防水手机的原理
苹果ios15哪些手机可以升级 苹果ios15支持机型名单
华为Mate X 5G开售瞬间抢光，Q2智能手机应用处理器市场份额发布