上采样、下采样到底是什么？

---

一、下采样

卷积神经网络中，卷积是最基本的操作模块，卷积定义如下：

在WHC的图像操作中，卷积就是输入图像区域和滤波器进行内积求和的过程。具体的操作如下：

卷积就是一种下采样的方式。

1.1 下采样方式

1、采用stride为2的池化层，如Max-pooling和Average-pooling，目前通常使用Max-pooling，因为他计算简单而且能够更好的保留纹理特征；
2、采用stride为2的卷积层，下采样的过程是一个信息损失的过程，而池化层是不可学习的，用stride为2的可学习卷积层来代替pooling可以得到更好的效果，当然同时也增加了一定的计算量。

1.2 下采样作用

下采样实际上就是缩小图像，主要目的是为了使得图像符合显示区域的大小，生成对应图像的缩略图。比如说在CNN中的池化层或卷积层就是下采样。不过卷积过程导致的图像变小是为了提取特征，而池化下采样是为了降低特征的维度。下采样层有两个作用：
一是减少计算量，防止过拟合；
二是增大感受野，使得后面的卷积核能够学到更加全局的信息。

二、上采样

2.1 上采样方式

它有反卷积(Deconvolution，也称转置卷积)、上池化(UnPooling)方法、双线性插值（各种插值算法）。
在卷积神经网络中，由于输入图像通过卷积神经网络(CNN)提取特征后，输出的尺寸往往会变小，而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算(如图像的语义分割)，这个使图像由小分辨率映射到大分辨率的操作，叫做上采样，它的实现一般有三种方式：

1. 插值，一般使用的是双线性插值，因为效果最好，虽然计算上比其他插值方式复杂，但是相对于卷积计算可以说不值一提，其他插值方式还有最近邻插值、三线性插值等；

2. 转置卷积又或是说反卷积(Transpose Conv)，通过对输入feature
   map间隔填充0，再进行标准的卷积计算，可以使得输出feature map的尺寸比输入更大；

3. Up-Pooling - Max Unpooling && Avg Unpooling --Max Unpooling，在对称的max pooling位置记录最大值的索引位置，然后在unpooling阶段时将对应的值放置到原先最大值位置，其余位置补0；

unpooling的操作与unsampling类似，区别是unpooling记录了原来pooling是取样的位置，在unpooling的时候将输入feature map中的值填充到原来记录的位置上，而其他位置则以0来进行填充。

2.2 上采样作用

上采样实际上就是放大图像，指的是任何可以让图像变成更高分辨率的技术。

references

https://www.jianshu.com/p/fd9e2166cfcc