目录
3.1.1 将特征数据缩放到一个范围 scale to a range
3.1.2 均值方差归一化(standardization)
4.2 深度网络中随机丢弃神经元——Dropout,防止过拟合
1. 激活函数
激活函数的性质:单调性,非线性(若不是非线性,改用线性,多层神经网络即相当于一层神经网络)
selu,scaled exponential linear units,根据该函数得到的网络具有自归一化功能。参考链接
https://arxiv.org/abs/1706.02515
2. 损失函数
3. 归一化
3.1 归一化
这里的归一化在机器学习算法中的归一化一样,有如下几种
3.1.1 将特征数据缩放到一个范围 scale to a range
(1)最值归一化(MinMaxScaler):把所有的数据映射到0-1之间。适用于分布有明显边界的情况(如:考试成绩)
缺点:容易受边界极端值的影响。
(2) MaxAbsScaler,标准化后的数据的取值范围为[-1, 1]
3.1.2 均值方差归一化(standardization)
把所有的数据归一到均值为0,方差为1的分布中。数据分布没有明显的边界,有可能存在极端数据值。
均值方差归一化,通常也称z-score标准化,即将数据转化成均值为0方差为1的高斯分布,但是对于不服从标准正态分布的特征,这样做效果可能会差,但最终还是以实践为准。
3.1.3 RobustScaler
Scale features using statistics that are robust to outliers.
3.2 批归一化
批归一化是指在深度网络中,每层的激活值都做归一化
3.3归一化的作用
如图所示:归一化之后,训练速度会更快
4. 过拟合
4.1 什么是过拟合
训练集上很好,测试集上不好。
参数太多,记住样本,不能泛化。