深度学习第五次课后题

1. 相比Lenet-5, Alexnet进行了哪些改进？这些改进起到了什么作用？

答：（1）ReLU代替Sigmoid，深度网络梯度离散；

（2）Dropout随机激活，避免过拟合；

（3）两个CPU并行计算，提高计算效率。

2. VGG中为什么采用更小的卷积核？

答：VGG网络参数数量很多，在深层次中用小卷积核捕捉细节的变化，同时降低了计算量。

3. 画出Inception模块的结构图，Googlenet中采用多个Inception模块带来了哪些效果？原因是什么？

答：

 效果：减少计算量，提高运行效率

原因：通过1*1的卷积核进行降维，使得网络结构的参数减少，减少了计算量，提高了系统的运行效率。

4. Googlenet中使用3个Softmax解决什么问题？

答：（1）作为向前传递导数辅助分类器，代替全连接，避免梯度消失；

（2）取消输出的全连接，避免梯度消失，增加反向传播梯度信息。