数据挖掘
ZYXxxxxxhhh
这个作者很懒,什么都没留下…
展开
-
激活函数的属性以及激活函数的选择
一、激活函数需要有什么属性?非线性:即导数不是常数。这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。几乎处处可微:可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU,只满足几乎处处可微(即仅在有限个点处不可微)。对于SGD算法来说,由于几乎不可能收敛到梯度接近零的位置,有限的不可微点对于优化结果不会有很大影响。计算简单:非线性函数有很多。极端的说,一个多层神经网络也可以作为一个非线性函数,类似原创 2020-12-09 15:55:37 · 1040 阅读 · 0 评论 -
数据处理方法:归一化与标准化处理
在数据挖掘中,在建模前需要对数据进行预处理,预处理方法包括归一化与标准化,对数据进行缩放。1.归一化(Normalization)将数据缩放到0-1之间线性(常用)归一化:最大最小值归一化,y=x−min(x)max(x)−min(x) y=\frac{x - min(x)}{max(x) - min(x)} y=max(x)−min(x)x−min(x)其他或者非线性2.标准化(Standardization)将数据按比例缩放,使之落入一个小的特定区间z-score方法:去均值除标准转载 2020-12-08 13:50:13 · 6034 阅读 · 0 评论