【笔记】Week2：多元线性回归，解析计算参数，Octave/Matlab教程 (Machine Learning)

吐槽：week2主要是接着week1讲的，主要在于说明如何实现线性回归。因为都涉及公式复制不太好我就都用自己话说了。。还是一样的，有错评论一下，谢谢啦。

正文：

1，Multivariate Linear Regression（多元线性回归）

记号：n表示特征数量，x^(i)表示第i个训练样本（列向量 [x^(i)_(0); ...; x^(i)_(n)]），x^(i)_(j)表示第i个训练样本的第j个特征的值。

假设函数：h(x) = theta0*x0+theta1*x1+theta2*x2+...+thetan*xn，也就是thetaTx（特别的，x0=1；后面那个是theta的转置乘以x）

说明：x设为列向量 [x0; x1; ... ; xn]，theta设为列向量 [theta0; ...; thetan]；h(x)就是thetaTx。

代价函数什么的都和一元的情况差不多，就是一个推广，这里不详细说了。

梯度下降法的实用技巧1：特征缩放，为了让每个xj都近似在-1到1附近。

说明：-1到1附近不是绝对的，而是表示个数量级，-3到3也是可以的，但-0.00001到0.00001不行。

操作方法：每个xj都是原来的xj/range（或者xj是(xj-mean)/range），这样有利于快速收敛（比如x1房子面积是0-2000feet^2，x2房间个数是1-5，差距比较大，所以用x1/2000和x2/5来缩放，这样会导致J(theta)的等高线图偏向于是个圆形，而不是个椭圆，因此可以快速收敛）。

梯度下降法的实用技巧2：确定梯度下降法正确运行（要求是J(theta)在每一次迭代之后都应该下降）和学习率的选取（0.001->0.003->0.01->0.03->0.1->0.3->1，一般每次改变乘除3）。

说明：如果学习率过小，则收敛的很慢；过大则可能不在每次迭代后下降，或者不收敛。

多项式回归（polynomial regression）：就是观察整个图形看