有效感受野--Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
NIPS 2016

本文主要分析了 CNN 网络中的 Receptive Field,发现实际有效的感受野 和 理论上的感受野 差距比较大,实际有效的感受野是一个高斯分布。

We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field.

2.1 The simplest case: a stack of convolutional layers of weights all equal to one
先分析了一种特殊情况,所有滤波器的权值全部等于 1 。2D 变成两个 1D 相乘,所以可以首先分析 1D 的情况
首先我们从数学上证明了 Effective Receptive Fields 在 1D 是一个高斯分布,随后推出 2D ,大于2D的情况都是高斯分布

2.2 Random weights
接着证明了 当滤波器权值是随机值时, effective receptive field 的分布仍然是高斯分布

2.3 Non-uniform kernels
还是高斯分布

这里写图片描述
上图 理论感受野尺寸分别是 11*11, 21*21, 41*41, 81*81
有效感受野对应正方形中额白色区域,符合高斯分布

不同激活函数得到的有效感受野略有不同
这里写图片描述

这里写图片描述
Subsampling 和 dilated convolution 都可以增加 有效感受野范围

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值