深度学习正则化

目录

tensorflow2.keras深度学习正则化

---

 

解决方法

对于高方差，有以下几种方式:

• 获取更多的数据，使得训练能够包含所有可能出现的情况·正则化(Regularization)
• 寻找更合适的网络结构

对于高偏差，有以下几种方式:

• 扩大网络规模，如添加隐藏层或者神经元数量
• 寻找合适的网络架构,使用更大的网络结构，如AlexNet·训练时间更长一些

不断尝试，直到找到低偏差、低方差的框架。

正则化项的理解：

keras.layers.Conv2D(32, kernel_size=5, strides=1, padding="same", data_format="channels_last", activation=tf.compat.v1.nn.relu, kernel_regularizer=keras.regularizers.l2(0.01)),

目的不是为了让训练更好，而是在训练很好的条件下（比如：%97），在测试集中表现不好（比如%88），有可能模型出现了过拟合，需要在原始网络中增加正则化参数。

总结

掌握偏差与方差的意义

• 掌握L2正则化与L1正则化的数学原理
  • 权重衰减
• 掌握droupout原理以及方法
  • Inverted droupout
• 知道正则化的作用