浅谈卷积神经网络中的平移等变性映射
卷积神经网络（cnn）具有平移等变性的观点在某种程度上深入人心，但很少有人去探寻其原因或者理论根据。这篇文章将对这个问题进行系统地讲解，为后续进一步研究cnn的其他等变性和不变性设计夯实基础。
介绍
在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然我们知道我们可以学习目标函数，但也存在许多错误的函数，它们在我们的训练数据上看起来完全一样。如果我们是完全灵活的，我们的模型可能会学习其中任何一个函数，一旦我们移开了训练数据，我们可能无法进行泛化。因此，需要对网络的灵活性加以限制。卷积神经网络是减少灵活性的一个著名成功案例。相较于早期的mlp网络，cnn的卷积牺牲了一部分灵活性，但实现了图像数据的平移等变性，这对于图像处理是十分重要的性质。
什么是平移等变性映射
简而言之，等变性映射是保留变换的代数结构的映射。作为一个特殊情况，平移等变映射是一种映射，当输入被平移时，会导致一个映射发生相应的平移，如下图所示：
当左边的输入图像被平移一定的量时，输出特征图也会被相同的量进行平移。具体而言，如下图所示，
输入图像显示数字“4”，向右平移得到另一个输入图像。和分别是通过平移等变映射计算得出的特征图。在这种情况下，通过将传递给得到的特征图相当于对特征图做相同的平移得到的特征图。
卷积的平移等变性证明
首先让我们写下卷积的定义：
本质上，这定义了一个相关性(correlation)而不是卷积(convolution)。然而，在深度学习领域中的惯例是将其称为卷积，这里我们将沿用这个惯例。在这里，和都有个通道。为了简洁，本文中我们取。
现在,我们的目标是，给定一张图像，我们将用滤波器对其进行卷积。然后，我们想验证对于任何平移，以下两个操作是相同的：
将平移，然后将结果与进行卷积。
将与进行卷积，然后将结果平移。
便携式株高测量仪是什么，它的功能有哪些
摩根大通分析师:明年半导体市场有望复苏，整体营收获利有增长
机器视觉基础知识汇总
USB PD 3.0 要怎么一统天下？
AMBA总线—apb简介
浅谈卷积神经网络中的平移等变性映射
关于电气防火限流保护器在家庭电气防火中的应用
基于InGaAs/InP低噪声GHz单光子探测器研究
工业机器人远程维护解决方案，体验线上秒修的畅快感
HiQP系列微型DC/DC转换器PICO概述
实现一种数字可调的升压型开关电源的设计方案
如何利用莱迪思CertusPro-NX FPGA评估板确定效率和成本的优先级
无人机用于精英运动训练中，利用其进行数据捕捉和收集
Multisim中虚拟伏安特性图示仪的使用
51单片机知识重点汇总
变频器和电动机相关问题解答
混合放大器的应用领域
2023 DPU厂商大盘点（先锋版）
元件怎样来布局
乔纳森-艾维离职，成立自己的独立设计公司名为 “LoveFrom Jony”
介绍
在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然我们知道我们可以学习目标函数，但也存在许多错误的函数，它们在我们的训练数据上看起来完全一样。如果我们是完全灵活的，我们的模型可能会学习其中任何一个函数，一旦我们移开了训练数据，我们可能无法进行泛化。因此，需要对网络的灵活性加以限制。卷积神经网络是减少灵活性的一个著名成功案例。相较于早期的mlp网络，cnn的卷积牺牲了一部分灵活性，但实现了图像数据的平移等变性，这对于图像处理是十分重要的性质。
什么是平移等变性映射
简而言之，等变性映射是保留变换的代数结构的映射。作为一个特殊情况，平移等变映射是一种映射，当输入被平移时，会导致一个映射发生相应的平移，如下图所示：
当左边的输入图像被平移一定的量时，输出特征图也会被相同的量进行平移。具体而言，如下图所示，
输入图像显示数字“4”，向右平移得到另一个输入图像。和分别是通过平移等变映射计算得出的特征图。在这种情况下，通过将传递给得到的特征图相当于对特征图做相同的平移得到的特征图。
卷积的平移等变性证明
首先让我们写下卷积的定义：
本质上，这定义了一个相关性(correlation)而不是卷积(convolution)。然而，在深度学习领域中的惯例是将其称为卷积，这里我们将沿用这个惯例。在这里，和都有个通道。为了简洁，本文中我们取。
现在,我们的目标是，给定一张图像，我们将用滤波器对其进行卷积。然后，我们想验证对于任何平移，以下两个操作是相同的：
将平移，然后将结果与进行卷积。
将与进行卷积，然后将结果平移。
便携式株高测量仪是什么，它的功能有哪些
摩根大通分析师:明年半导体市场有望复苏，整体营收获利有增长
机器视觉基础知识汇总
USB PD 3.0 要怎么一统天下？
AMBA总线—apb简介
浅谈卷积神经网络中的平移等变性映射
关于电气防火限流保护器在家庭电气防火中的应用
基于InGaAs/InP低噪声GHz单光子探测器研究
工业机器人远程维护解决方案，体验线上秒修的畅快感
HiQP系列微型DC/DC转换器PICO概述
实现一种数字可调的升压型开关电源的设计方案
如何利用莱迪思CertusPro-NX FPGA评估板确定效率和成本的优先级
无人机用于精英运动训练中，利用其进行数据捕捉和收集
Multisim中虚拟伏安特性图示仪的使用
51单片机知识重点汇总
变频器和电动机相关问题解答
混合放大器的应用领域
2023 DPU厂商大盘点（先锋版）
元件怎样来布局
乔纳森-艾维离职，成立自己的独立设计公司名为 “LoveFrom Jony”