吴恩达机器学习课程笔记+代码实现(11)8.神经网络的学习(Neural Networks: Learning)

8.神经网络的学习(Neural Networks: Learning)

---

本章编程作业及代码实现部分见：多类分类和神经网络 神经网络中的反向传播

8.1 代价函数

       首先引入一些便于稍后讨论的新标记方法：
       假设神经网络的训练样本有$m$个，每个包含一组输入$x$和一组输出信号$y$，$L$表示神经网络层数，$S_I$表示每层的neuron个数($S_l$表示输出层神经元个数)，$S_L$代表最后一层中处理单元的个数。

       将神经网络的分类定义为两种情况：二类分类和多类分类，

       二类分类：$S_L=0,y=0or1$表示哪一类；

       $K$类分类：$S_L=k,y_i=1$表示分到第$i$类；$(k>2)$
       

       我们回顾逻辑回归问题中我们的代价函数为：
$$J\left(\theta \right)=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }^{}$$