Inception v1

• 2012年AlexNet做出历史突破以来，直到GoogLeNet出来之前，主流的网络结构突破大致是网络更深（层数），网络更宽（神经元数）。所以大家调侃深度学习为“深度调参”。那么解决上述问题的方法当然就是增加网络深度和宽度的同时减少参数，Inception就是在这样的情况下应运而生。
• Inception v1模型

Inception v1的网络，将1x1，3x3，5x5的conv和3x3的pooling，堆叠在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性

 

　　第一张图是论文中提出的最原始的版本，所有的卷积核都在上一层的所有输出上来做，那5×5的卷积核所需的计算量就太大了，造成了特征图厚度很大。为了避免这一现象提出的inception具有如下结构，在3x3前，5x5前，max pooling后分别加上了1x1的卷积核起到了降低特征图厚度的作用，也就是Inception v1的网络结构。 
　　下面给出GoogLeNet的结构图： 

• Inception V1 降低餐数量的目的在于以下两点：

1. 参数越多，模型越庞大，需要提供模型学习的数据量也就越大，而当前高质量的数据非常昂贵；
2. 参数越多，相应地耗费的计算资源也会更大；

• 为什么使用了较多 1×1 的卷积？ 

1. 降维（ dimension reductionality ）。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。

2. 加入非线性。卷积层之后经过激活层，1*1的卷积在前一层的学习表示上添加了非线性激活（ non-linear activation ），提升网络的表达能力；