有效感受野--Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
NIPS 2016

本文主要分析了 CNN 网络中的 Receptive Field，发现实际有效的感受野 和 理论上的感受野 差距比较大，实际有效的感受野是一个高斯分布。

We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field.

2.1 The simplest case: a stack of convolutional layers of weights all equal to one
先分析了一种特殊情况，所有滤波器的权值全部等于 1 。2D 变成两个 1D 相乘，所以可以首先分析 1D 的情况
首先我们从数学上证明了 Effective Receptive Fields 在 1D 是一个高斯分布，随后推出 2D ，大于2D的情况都是高斯分布

2.2 Random weights
接着证明了 当滤波器权值是随机值时， effective receptive field 的分布仍然是高斯分布

2.3 Non-uniform kernels
还是高斯分布

上图 理论感受野尺寸分别是 11*11， 21*21， 41*41， 81*81
有效感受野对应正方形中额白色区域，符合高斯分布

不同激活函数得到的有效感受野略有不同

Subsampling 和 dilated convolution 都可以增加 有效感受野范围