BP神经网络—反向传播算法
为什么要学习反向传播算法?对于前馈神经网络的参数学习,如果采用交叉熵损失函数,对于样本(x,y),其损失函数为给定训练集D={(xn,yn)}, N >= n >=0,将每个样本xn输入给前馈神经网络,得到网络输出为yn,其在数据集D上的结构化风险函数为其中W和b分别表示网络中所有的权重矩阵和偏置向量, (||W|| F)^2是正则化项,用来防止过拟合,lambda是为正数的超参数,lambda越大,W越接近于0。有了学习准则和训练样本,网络参数可以通过梯度下降法来进行学习。在梯度下
原创
2020-10-12 16:23:38 ·
570 阅读 ·
0 评论