1×1卷积以及inception network(goole net)

一、1×1卷积（网中网）

对1×1卷积的理解：它本质上是一个完全连接的神经网络，逐一作用于这36（6×6）个不同的位置。它接受32个数的输入，然后输出过滤器数个输出值，然后对这36个位置中的每一个都进行相同的操作，你最终得到的输出是6×6×过滤器数。

作用:这是一种让你缩小nc的方式。缩小通道数从而达到在某些网络中减少计算量的目的。（可以减少、增加、不变通道数）

当然如果你想要保持192个通道数也是可行的。这时1×1卷积的效果是增加非线性性。它通过添加一层输入28*28*192，再输出28*28*192的操作使得你的网络可以学习到更复杂的函数形式。（池化层用来缩小nh和nw，即高度和宽度）

 

二、inception network（网络架构更加复杂，但效果也更好）

inception network思想：inception网络或inception层是指与其在卷积神经网络中选择一个你想使用的卷积核尺寸，乃至选择你是否需要一个卷积层还是一个池化层，让我们全都做吧。

不用去只挑选一个卷积核大小或pooling，你可以所有都做，用这个inception模型，然后把所有输出结果连接起来，然后让神经网络去学习它想要用到的参数以及它想要用到的卷积核大小。

 
第二个量并列的堆叠在第一个量旁边，并保证维度是匹配的。维度要匹配，所以可以使用same padding
 

但这里会出现一个inception网络的问题：计算成本问题。

（此处需要的计算量达1.2亿）

 解决方法：1×1卷积

我们先将一个比较大的输入减少成一个较小的中间值，也就是只有16个通道，有时我们会把中间的这个层叫瓶颈层（bottleneck layer）。只要你合理地去实现这个瓶颈层，你既可以缩小输入张量的维度，又不会影响到整体的性能，还能节省计算成本 。这能够降低计算成本到大约1/10左右。

Inception module如下图：

 

这个旁枝（绿色部分）的作用就是它把隐藏层作为输入来做预测。
它的作用是用来保证所计算的特征值即使他们是在最头部的单元里或在中间层里，他们对于预测结果来说不算太差。这是对inception网络的正则化，用来防止网络的过度学习

inception网络就是重复多次使用inception模块的网络结构。