深度学习第二周课后题

1.人工神经元如何模拟生物神经元中的轴突，突轴和树突的？

答：输出层代表轴突，权重代表突轴，输入层代表树突。

2.传统神经网络采用什么训练方法，存在哪些问题？

答：传统神经网络中，采用的是反向传播（BP）的方式进行。即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。

BP算法存在的问题：

1》梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；

2》收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况发生）；

3》一般只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的数据中学习。

3.为什么深层神经网络比浅层神经网络更高效?

答：浅层神经网络的中间层数量较少，虽然有研究表明浅层神经网络可以满足当下很多的功能与需求，但不可否认的浅层神经网络比较大，参数数量很多。与浅层神经网络相比，深层神经网络隐藏层数量多，表达能力更强，能够用来表征更复杂的情况，可以解决非常多现实中的问题。

4.Hinton提出的wake-sleep算法的基本思想是什么？

答：Wake-Sleep算法分为醒（wake）和睡（sleep）两个部分。

1）wake阶段：认知过程（从现实到概念），通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。

2）sleep阶段：生成过程（从概念到现实），通过顶层表示（醒时学得的概念）和向下权重（生成权重），生成底层的状态，同时修改层间向上的权重。

5.深度学习效果好的主要原因是什么？

答：基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是有监督训练过程；

第一步类似神经网络的随机初始化初值过程，由于深度学习的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；

deep learning效果好很大程度上归功于第一步的feature learning过程。

6.深度信念网络遇到了哪些问题？

答：（1）需要为训练提供一个有标签的样本集；

       （2）学习过程较慢；

       （3）不适当的参数选择会导致学习收敛于局部最优解。

7.卷积层提取什么特征？不同的卷积核提取什么样的特征？

答：执行卷积操作提取底层到高层的特征，发掘出输入数据的局部关联性和空间不变性。卷积层由一系列参数可学习的滤波器集合构成，滤波器称之为卷积核。不同卷积核可以提取不同的特征，例如边缘，线性等特征。

8.为什么要用激活函数？

答：激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。