[机器学习]Lecture 3(Preparation)：Convolutional Neural Networks, CNN

目录

Convolutional Neural Network (CNN)

Image Classification

Neuron Version Story

Another way to introduce CNN——Filter Version Story

Pooling

The whole CNN

---

下面探讨network的架构设计。通过CNN这个例子，来说明Network架构的设计有什么样的想法，说明为什么设计Network的架构可以让我们的Network结果做的更好。

Convolutional Neural Network (CNN)

——专门被用在影像上

• Image Classification

下面是一个图片分类的例子。对machine来说，一张图片是一个三维的Tensor，把这个三维的Tensor拉直成一个向量后就可以丢到一个Network里面。 下面的小猫图像对应的Tensor，展开后就是一个长度为100*100*3的向量，假如说把这个向量作为Fully Connect Network的输入，然后Fully Connect Network第一层的Neuron数目有1000个的话，那么第一层总共有3*10^7个权重参数。

随着参数的增加，模型的弹性和能力会增加，但overfitting的风险也会增加。所以在做影像辨识的时候，要避免使用过多的参数。考虑到影像辨识问题本身的特性，我们并不一定需要Fully Connected。

• Neuron Version Story

对影像辨识问题的一些Obervation:

Obervation-1.侦测图片里面一些重要的patterns，这些pattern代表了某种物件（例如鸟嘴、眼睛和爪子）。这些pattern会比图片小很多，所以每个neuron不需要去看整张图片，只需要能看到一些重要的patterns。

针对以上观察，我们可以对Fully Connected Network做一些简化。不需要让一个Neuron看完整的图片，只需要让它看图片的一小部分就够了(receptive field)。

Obervation-2. The same patterns appear in different regions. 同样的pattern可能会出现在图片的不同区域里面。

如果每一个receptive field都对某一个pattern进行侦测，会造成参数过多。简化方式：让不同receptive field的Neuron共享参数——Parameter Sharing。

对以上的两点讨论做一个conlusion——Benefit of Convolutional Layer：

• Another way to introduce CNN——Filter Version Story

李老师在这里用经典方式介绍了一下CNN，以下是关于b站CNN入门的一个讲解视频的笔记，和老师第二种讲解方式类似。

卷积神经网络整体架构：输入层——>卷积层CONV(提取特征，后面会跟一个激活函数，通常是RELU)——>池化层POOL(压缩特征)——>全连接层FC(输入层和隐层连在一起就是全连接操作)

卷积完后得到特征图，filter的数量决定了特征图的数量

卷积层涉及参数：滑动窗口步长，卷积核尺寸，边缘填充，卷积核个数(卷积参数共享：不同区域使用相同卷积核)

池化层：现阶段基本使用最大池化MAX POOLING

卷积神经网络的层数：看卷积层和全连接层的层数

以上笔记对应的b站课程链接：https://www.bilibili.com/video/BV1zF411V7xu/?spm_id_from=333.337.search-card.all.click&vd_source=534308c33da1180628ab8ca3f3f245c3

上面用两种方式讲解了Convolutional Layer，如下图：

• Pooling

接上上面对影像辨识问题的一些Obervation的讨论。

Obervation-3. Subsampling the pixels will not change the object. Pooling本身没有参数，它里面没有weight，没有需要Learn的东西，不是一个layer。

• The whole CNN

To learn more: CNN is not invariant to scaling and rotation (we need data augmentation).