机器学习--监督学习之梯度下降法

最近在看stanford 吴恩达老师的机器学习课程，附上网易公开课的地址http://open.163.com/special/opencourse/machinelearning.html

突然心血来潮想要把每节课的内容整理到博客上面，因为觉得给别人看到的东西我才会真正好好的思考保证尽量没有错误的概念，对自己是一种很好的提高！第一课的内容是一些介绍性的东西就不写了，从第二课监督学习之梯度下降法开始！

一、什么是监督学习？

首先，机器学习的思路是编写算法让机器从人类已有的经历中获取经验，从而具备独立解决问题的能力。是否有监督（supervised），要看给的数据是否有标记。以分类算法为例，已知一组特征量，我们知道这些特征量分别对应什么类别，通过学习这些特征量和其类别之间的关系，可以在下次给定一个特征量时做出对其类别的准确判断，即为监督学习。而无监督的分类算法，即输入的特征量没有标记，就好比你在刷题的时候没有准确答案，考试时给你一道相似的题还是不会，无监督的分类算法又称为聚类算法，效果显然是没有监督学习好的。监督学习重要的两个代表是分类问题（classification problem）和回归问题（regression problem），这节课吴恩达老师以回归问题为例，介绍了梯度下降法作为学习算法的应用。

二、梯度下降法 </