有效感受野--Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
NIPS 2016

本文主要分析了 CNN 网络中的 Receptive Field,发现实际有效的感受野 和 理论上的感受野 差距比较大,实际有效的感受野是一个高斯分布。

We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field.

2.1 The simplest case: a stack of convolutional layers of weights all equal to one
先分析了一种特殊情况,所有滤波器的权值全部等于 1 。2D 变成两个 1D 相乘,所以可以首先分析 1D 的情况
首先我们从数学上证明了 Effective Receptive Fields 在 1D 是一个高斯分布,随后推出 2D ,大于2D的情况都是高斯分布

2.2 Random weights
接着证明了 当滤波器权值是随机值时, effective receptive field 的分布仍然是高斯分布

2.3 Non-uniform kernels
还是高斯分布

这里写图片描述
上图 理论感受野尺寸分别是 11*11, 21*21, 41*41, 81*81
有效感受野对应正方形中额白色区域,符合高斯分布

不同激活函数得到的有效感受野略有不同
这里写图片描述

这里写图片描述
Subsampling 和 dilated convolution 都可以增加 有效感受野范围

©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页