cost function

一、什么是cost function?

代价函数就是用于找到最优解的目的函数，这也是代价函数的作用。

 二、代价函数作用原理

对于回归问题，我们需要求出代价函数来求解最优解，常用的是平方误差代价函数。

比如，对于下面的假设函数:

里面有θ0和θ1两个参数，参数的改变将会导致假设函数的变化，比如：

现实的例子中，数据会以很多点的形式给我们，我们想要解决回归问题，就需要将这些点拟合成一条直线，找到最优的θ0和θ1来使这条直线更能代表所有数据。

而如何找到最优解呢，这就需要使用代价函数来求解了，从最简单的单一参数来看，假设函数为：

 平方误差代价函数的主要思想就是将实际数据给出的值与我们拟合出的线的对应值做差，这样就能求出我们拟合出的直线与实际的差距了。

 

而在前面乘以1/2，是因为后面求导会有2，为了简便计算。这样，就产生了代价函数：

 而最优解即为代价函数的最小值，根据以上公式多次计算可得到代价函数的图像：

 可以看到该代价函数的确有最小值，这里恰好是横坐标为1的时候。

如果更多参数的话，就会更为复杂，两个参数的时候就已经是三维图像了：

reference：吴恩达机器学习