需要训练的模型参数(parameters)
num_hidden
:隐藏层节点数目
activation func
:隐藏层/输出层节点的激发函数
weights/biases
:连接权重/偏置
* 构造成本函数
训练模型的目的就是降低C
值的大小。由于每一层激发函数的输出a_j
是权重(weight)和偏置(bias)的函数,因此C
也是权重和偏置的函数。训练模型的过程就可以转化成寻找权重和偏置的最优组合,使得C
的值降到最低。通常使用随机梯度下降算法(SGD)
来寻找该最优组合。
前向传播(forward propagation):将训练数据train_X
输入到模型,并在输出层得到相应的输出output
,此过程成为前向传播。
后向传播(backward propagation):通过输出结果output
和真实的结果y_true
计算出成本函数值C
,进而计算出C
对每一层权重和偏置的偏导和