【深度学习面试准备】

1. 滑动平均模型中，decay决定模型的更新速度（decay会决定影子变量的更新速度）。这个影子变量的作用是？
通过设置参数衰减系数（decay），调节影子变量的更新速度，进而调节变量的更新速度，也就调节了模型的稳定程度。当decay越大，模型是越稳定的。这个可以从损失函数的角度来避免过拟合问题。

shadow_variable=decay*shadow_variable+(1-dacay)*variable
实际更新的时候，shadow_variable会直接替代variable，所以它会直接影响权重和偏置项的更新。
在tensorflow实现的时候，需要经过以下几个步骤：
variable_averages= tf.train.ExponentialMovingAverage(decay, global_step)
variables_averages_op = variables_average.apply(tf.trainable_variables())
然后在实际计算的时候：
out1=tf.matmul(x, variables_average.average(weights1))+variables_average(bias1) 
不用滑动平均模型的时候是：
out1=tf.matmul(x, weights1)+bias1

 

 

2. 什么是过拟合？如何解决？
过拟合就是模型过度考虑了训练集的数据，把噪音成分也考虑进去了。模型表现为在训练集的损失函数小，准确率高，但在测试集上准确率低。
解决可以从损失函数、模型、训练trick三方面来尝试：
损失函数方面，
（1）可以增加正则化项，使模型不要过于复杂，出现某些权重过大的情况；
（2）还可以通过滑动平均模型，使得模型在训练后期更趋向于稳定；
模型方面，
（1）可以选择更简单的模型；
（2）可以给模型增加batch normalization模块；
（3）可以将传统convolution改成group convolution，以减少模型参数
（4）用global poolinh，减小参数
训练trick方面
（1）可以减少模型的迭代轮数；保存模型的时候也可以通过保存验证集准确率最高的，而不是迭代最后一轮的；
（2）用各种数据增强增大数据集
 

3. SGD中momentum的作用是什么？

来自知乎https://www.zhihu.com/question/24529483/answer/114711446

 

4. batch normalization是什么？有什么作用？

batch normalization的是指在神经网络中激活函数的前面，将按照特征进行normalization，这样做的好处有三点：
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1]，这样在反向传播时候的梯度都是在1左右，避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
4、缓解模型的过拟合问题。
来自知乎：https://www.zhihu.com/question/24529483/answer/114711446
对于它更详细的实现细节可以参考：https://www.cnblogs.com/skyfsm/p/8453498.html

 

 

 

 

关于卷积还不错的一篇博客
https://www.cnblogs.com/mtcnn/p/9411718.html

 

 

 

岗位：计算机视觉实习生

1. 一面（半小时）
感觉面的比较简单，主要分为两部分：
（1）项目部分，问得比较细，比如你为什么想用focal loss来处理这个问题？在项目中遇到最大的问题是什么，你是怎么解决的？
（2）机器学习部分：SVM属于监督学习还是非监督学习？SVM公式推导；SIFT原理？关键点检测算法？

 

2. 二面（半小时）
感觉也还比较友好，而且和一面的差别不是很大，也主要分为两部分：
（1）项目部分：做过什么项目？遇到什么大的难题，怎么解决的？创新点在哪里？对这个领域有什么贡献？
（2）问答部分：这里的问题问得比较活，问了两个问题：在一个圆上取三个动点，这三个动点组成钝角的概率是多少？给一个分类网络加什么结构，可以使得网络能适用于不得尺寸的图片输入？

二面挂了

 

后记：给一个分类网络加什么结构，可以使得网络适用于不同尺寸的图片输入?
加AdaptiveAvgPool或者AdaptiveMaxPool
加上自适应均值池化层或最大池化层
这个操作给定输入和输出的大小，根据输入输出的大小自动调节（自适应）池化核的大小和池化步长。

 

其他：
1. 如何避免过拟合?