目录
解决方法
对于高方差,有以下几种方式:
- 获取更多的数据,使得训练能够包含所有可能出现的情况·正则化(Regularization)
- 寻找更合适的网络结构
对于高偏差,有以下几种方式:
- 扩大网络规模,如添加隐藏层或者神经元数量
- 寻找合适的网络架构,使用更大的网络结构,如AlexNet·训练时间更长一些
不断尝试,直到找到低偏差、低方差的框架。
正则化项的理解:
keras.layers.Conv2D(32, kernel_size=5, strides=1, padding="same", data_format="channels_last", activation=tf.compat.v1.nn.relu, kernel_regularizer=keras.regularizers.l2(0.01)),
目的不是为了让训练更好,而是在训练很好的条件下(比如:%97),在测试集中表现不好(比如%88),有可能模型出现了过拟合,需要在原始网络中增加正则化参数。
总结
掌握偏差与方差的意义
- 掌握L2正则化与L1正则化的数学原理
- 权重衰减
- 掌握droupout原理以及方法
- Inverted droupout
- 知道正则化的作用