逻辑回归的成本函数



注，本文是在学习吴恩达老师（Andrew Ng）网易公开课课程的的学习总结和理解，希望与君共勉！

1.在逻辑回归数学模型那篇博文中我们提到，当你做Logistic Regression的时候，在x和y为已知的情况下（比如是猫还是非猫），学习得到参数w和b，使得y帽尽可能的接近y。

2. 为了表达y帽尽可能的接近y，我们需要定义个lost 函数，我们可以定义lost函数为

但是这个函数由于是局部收敛的，满足不了梯度下降算法。

3. 为此我们需要从新定义一个下面这样的函数，这个函数是全局收敛的。

4. Cost函数的定义为整个训练集上lost函数和的平均。

5. 有了lost函数来表达y帽接近y的程度，越接近lost函数的值越小，当两个相等时，lost函数的值为0.

于是逻辑回归的本质就可转化为：在x和y为已知的情况下（比如是猫还是非猫），学习得到参数w和b使得Cost函数的取值尽可能的小。