Logistic Regression 不同于 Linear Regression,它可以是预测结果成为离散的值(比如正类、负类)。因此它可以作为 classification 的工具。如果听过Andrew Ng的Machine Learning课程的话,应该知道其实在进行优化求导过程中,Logisitc Regression 和 Linear Regression 的偏导数是一样样的。虽然他们的Cost Function差的蛮多。可是课程里面并没有推倒这个证明过程。我展示一下这个推倒过程(这个不是我写的,拿来学习不错):
先来看看Logistic Regression的Cost Function(没有正则项):
这个Linear Regression的Cost Function:
以下是推倒过程: