BN和神经网络调优

学习目标：

        掌握基本的超参数以及调参技巧·

        掌握BN的原理以及作用

/

批标准化：

• 根本上不是去优化模型，而是帮助我们更好地去训练，简单训练过程，节省时间。
• 解决目的：内部协变量偏移
• 对于深层网络一些层级输出进行批标准化

• 在标准化之后，增加一个状态分布参数，让标准数据进行修改分布
  • garma
  • beta

作用：

• BN减少不同数据分布状态带来的影响，模型鲁棒性强，测试准确率高，防止过拟合作用。
• BN使得不同层学到不同的分布状态
• 减少各层之间W和b之间的耦合性，让各层更加独立，实现自我训练学习效果

总结：

• 比如：学习率0.1或者使用0.0001，都能学习到很好的模型
  • 没有BN可能有些模型只适用于0.0001这个学习率
  • 给大学习率