神经网络的代价函数

注：本文是学习吴恩达老师的学习笔记

1. 对于分类问题的神经网络的结构如图所示。

2. 数据有m个样本。L表示网络一共有多少层，Sl表示第l层有多少个神经元（不考虑bias unit）

3. 对于神经网络的分类，主要有二分分类和Multi-class分类两种，二分分类主输出层只有一个神经元输出为0或者1

对于Multi-class分类输出层一共有K个神经单元，起输出是一个只包含0和1值得向量

对于单个神经元的成本函数和神经网络的成本函数如图所示。

主要不同时神经网络的成本函数一共是输出层K个神经元的累加，另外是所有的参数的theta的平方求和。