【深度学习】GoogLeNet系列解读 —— Inception v1

---

目录

GoogLeNet系列解读

Inception v1

Inception v2

Inception v3

Inception v4

---

简介

GoogLeNet网络核心模块是Inception module，一共经历了4代，其中第一代网络获得了2014年ILSVRC竞赛的分类任务第一名，因此促使了研究者对Inception module的兴趣，使Inception module不断完善。而这次比赛的第二名大家也很熟悉，就是VGGNet。 

---

出发点

一般来说，提升网络性能最直接的方法就是增加网络的深度和宽度。但是这也带来两个问题：一是网络参数量的急剧增加会导致网络陷入过拟合，尤其是对小数据集而言；二是消耗巨大的计算资源。

文章认为解决上述两个问题的根本方法是将全连接甚至卷积转化为稀疏连接。对这个观点有两方面解释：一方面，现实中的生物神经网络连接本身就是稀疏的；另一方面，Arora等人证明，对于大规模的稀疏网络，可通过分析前一层激活值的相关统计数据和对高度相关的输出神经元聚类来逐层构建最优的网络结构。这种方法可以在不损失性能的前提下降低网络参数量。

实际上，传统的网络基本都使用了随机稀疏连接。但是，计算机对非均匀稀疏数据的计算非常低效，所以在AlexNet中又重新使用了全连接层，目的是就为了更好地进行并行运算。

那么问题来了，是不是有一种方法既能够保持网络结构的稀疏性，并且充分利用密集矩阵的高效计算？还真有。大量文献表明对