深度学习第四周课后题

1.卷积层中的共享参数指的是什么？

答：如果一组权重（卷积核）在图像中某个区域提取有效的表示,，也能在图像另外区域中提取有效的表示称为共享参数。

2.池化层的作用是什么？

答：池化层根据神经元空间上局部统计信息进行采样,在保留有用信息同时减少神经元空间大小, 使参数量减少并降低过拟合可能。pool操作在各深度分量上独立进行, 常用的是最大池化(max-pooling)。

3.为什么ReLU常用于神经网络的激活函数？

答：ReLU是修正线性单元（The Rectified Linear Unit），近些年来在深度学习中使用较多，可以解决梯度弥散问题，因为它的导数等于1或者是0。相对于sigmoid和tanh激励函数，ReLU求梯度非常简单，计算也很简单，可以非常大程度地提升随机梯度下降的收敛速度（因为ReLU是线性的，而sigmoid和tanh是非线性的）。

4.损失函数度量的是什么？损失函数的设计决定了什么？

答：损失函数度量的是模型预测的值和真实值之间的误差。损失函数的设计不仅定义了问题，还直接决定了优化算法收敛的性能，甚至是否能够成功收敛。

5.常用的激励函数有哪些？ softmax函数解决什么样的分类问题？与sigmoid函数有什么不同？

答：常用的激励函数有softmax函数、sigmoid函数、tanh函数、ReLU函数、Leaky ReLU函数、ELU函数、Maxout函数等。softmax函数是解决多类别分类问题，sigmoid函数是解决多标签分类问题。softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。对于某个分类场景，当softmax函数能用时，sigmoid函数一定可以用。

6.LeNet－5用来解决什么问题？画出它的卷积神经网络整体架图。

答：LeNet的网络结构规模比较小，但包含了卷积层、Pooling层、全连接层，构成现代CNN网络的基本组件。LeNet－5可用来解决分类、MNIST问题等。

网络整体架构图如下：

7.Alexnet在卷积时采用了什么方法？LRN在Alexnet中有什么改进作用？

答：Alexnet在卷积时分成上下两块，这一层计算出来的feature map分开，但前一层用到的数据要看连接的虚线，input层后第一层第二层间的虚线是分开的，是说二层上面的128map是由一层上面的48map计算的。LRN层在Alexnet中是对当前层的输出结果做平滑处理。

8.GoogLeNet采用Inception结构的效果有哪些？

答：GoogLeNet采用Inception结构，不仅进一步提升了预测分类的成功率，而且极大地减少了参数量，其原因有如下的特点：

   1.采用了模块化的结构，方便增添和修改；

   2.网络最后用average pooling代替全连接层，将模型准确率率提高了0.6%；

   3.网络移除了全连接层，但保留了Dropout层；网络增加了两个辅助的softmax，避免梯度消失。

9.VGG的特点是什么？

答：VGG有很多个版本，也是比较稳定和经典的model。特点也是连续conv多，计算量巨大（比前面几个模型都大很多）。

10.YOLO模型的优势是什么？为什么比其它模型的处理速度快？

答：YOLO是一个全新的方法，把一整张图片一下子应用到一个神经网络中去。网络把图片分成不同的区域，然后给出每个区域的边框预测和概率，并依据概率大小对所有边框分配权重。最后，设置阈值，只输出得分（概率值）超过阈值的检测结果。

YOLO的模型相比于基于分类器的模型有一些优势，整张图片一次输入到模型中，预测结果结合了图片的全局信息。同时模型只用一次网络计算做预测，而在R-CNN中一张图片就需要进行上千次的网络计算！所以YOLO非常快，比R-CNN快1000倍，比Fast R-CNN快100倍。