多元线性回归---笔记

最新推荐文章于 2024-05-24 17:26:11 发布

zoe9698

最新推荐文章于 2024-05-24 17:26:11 发布

阅读量1.2k

点赞数

分类专栏：机器学习笔记文章标签：机器学习多元线性回归梯度下降吴恩达

本文链接：https://blog.csdn.net/zoe9698/article/details/82356029

版权

7 篇文章 0 订阅

订阅专栏

之前用于学习梯度下降法的例子是

该例子中只有一个自变量x（房屋面积），一个因变量（房价），线性回归目标是一个一元一次方程，该函数有两个参数 $\theta _{0}，$ ， $\theta _{1}$ 。

我们知道现实生活中房价不仅仅是房屋面积单因素所决定的，房价往往由房屋面积、楼层、卧室数量、房龄等多因素决定的。那么自变量就应该不仅仅只有房屋面积。

上图中呈现了相应的变量关系以及数据。

è¿éåå¾çæè¿°

此时，我们再次试图使用线性回归的方法预测房价，那么式子将变成

$y=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\theta _{3}x_{3}+\theta _{4}x_{4}$ ：此时自然而然，式子中出现了5个参数

在给出的数据表格中，给出了47行数据，每一行数据都是由4个自变量组成，为了表示清楚，吴恩达老师给出一种表示方法：

上标表示第几行数据，下标表示第几个自变量。

那么我们得到了线性回归的式子，如何利用梯度下降算法进行房价预测？我们可以按照梯度下降的步骤，写出损失函数。

$J\left ( \theta _{0},\theta _{1},\theta _{2},...,\theta _{n} \right )=\frac{1}{2m}\sum_{i=1}^{m}\left ( h_{\theta }\left ( x^{\left ( i \right )} \right ) -y^{\left ( i \right )}\right )^{2}$

按照梯度下降法的思路我们需要找到损失函数的最小值时各个theta的值。问题转化为求损失函数最小值问题。

为了便于运算，我们将 $( \theta _{0},\theta _{1},\theta _{2},...,\theta _{n} )$ 看做一个向量 $\theta$ ， $\left ( x_{0} ,x_{1} ,x_{2},... ,x_{n} \right )$ 看做一个向量x。

那么， $y=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\theta _{3}x_{3}+\theta _{4}x_{4}$ ，就可以看做是 $\theta ^{T}$ 与向量x的内积。

式子都重新表示清楚后，接下来利用梯度下降的过程求损失函数最小值：

同时对所有变量（ $\theta _{i}$ ）求偏导数，找到下降方向，更新 $\theta _{i}$ 。

è¿éåå¾çæè¿°

将h(x)代入梯度下降算法，如下图：

è¿éåå¾çæè¿°

关注