多元线性回归机器学习基础(1)

最新推荐文章于 2022-02-03 22:45:03 发布

海上机械师

最新推荐文章于 2022-02-03 22:45:03 发布

阅读量1.3k

点赞数 2

分类专栏：算法机器学习文章标签：机器学习 Octave MATLAB 多元线性回归

本文链接：https://blog.csdn.net/i_love_home/article/details/50580367

版权

算法同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

机器学习

15 篇文章 0 订阅

订阅专栏

多元线性回归

1 多元线性回归

1.1 猜想

这里写图片描述

1.2 代价函数

这里写图片描述

1.3 梯度下降法

这里写图片描述

1.3.1 特征缩放

这里写图片描述
椭圆空间变为圆形空间：

1.3.2 均值归一化

这里写图片描述

1.3.3 参数 $\alpha$ 的选取

为了加快收敛速度；避免发散。
采用多次实验的方法，一般遵循的思路为
Repeat{小 –> 大}

1.4 特征与多项式回归

寻找合适的多项式模型，例如

h θ (x) = θ 0 + θ 1 x h θ (x) = θ 0 + θ 1 x + θ 2 x 2 h θ (x) = θ 0 + θ 1 x + x \sqrt h θ (x) = θ 0 + θ 1 x + θ 2 x 2 + θ 3 x 3 . . .

$h_\theta(x)=\theta_0+\theta_1x\\ h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2\\ h_\theta(x)=\theta_0+\theta_1x+\sqrt x\\ h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3\\ ...$

2 正规方程

2.1 正规方程不可逆性

正规方程提供了一种求 $\theta$ 的解析解法。

X θ = y \to X T X θ = X T y \to θ = (X T X) - 1 X T y

$X\theta=y \to X^TX\theta=X^Ty \to \theta=(X^TX)^{-1}X^Ty$
例如

$x_0$	$a$	$b$	$y$
1	4	5	3
1	1	2	1
1	3	2	2

则

X = ⎡ ⎣ ⎢ 111413521 ⎤ ⎦ ⎥, y = ⎡ ⎣ ⎢ 312 ⎤ ⎦ ⎥

$X = \left[ {\begin{array}{*{20}{c}} 1&4&5\\ 1&1&2\\ 1&3&1 \end{array}} \right], y=\left[{\begin{array}{*{20}{c}} 3\\ 1\\ 2 \end{array}}\right]$
梯度法和正规方程方法对比

梯度法	正规方程
1) 取 $\alpha$	1) 求矩阵逆 $(X^TX)^{-1}$
2) 多次迭代	特征数 $n$ 大时，效率低
3) 处理特征数 $n$ 很大的情况

3 Octave/MATLAB 入门

3.1 基本命令

PS1(‘>>’); 在 Command 命令中
disp(sprint(‘6 decimals: %0.6f’, a));
hist(x, 50); % x 变量的分布图

3.2 数据传递

路径 pwd
改变路径 cd ‘path’
ls 当前路径下的对象
load(‘filename’); 或者 load filename
who 变量信息
whos 变量详细信息
save filename varname 将 varname 保存至 filename

3.3 数据处理

flipud 矩阵左右翻转

3.4 数据绘图

imagesc 矩阵可视化实现

3.5 控制语句 for while if

搜索路径 addpath

3.6 向量化

MATLAB, python, Java, C, C++ 都有线性运算库

θ 0 = θ 1 = θ 2 = θ 0 - α 1 m \sum i = 1 m (h θ (x (i)) - y (i)) x (i) 0 θ 1 - α 1 m \sum i = 1 m (h θ (x (i)) - y (i)) x (i) 1 θ 2 - α 1 m \sum i = 1 m (h θ (x (i)) - y (i)) x (i) 2 ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \to θ = θ - α δ w h e r e δ = 1 m (h θ (x) - y) T x

$\begin{array}{l} \left. \begin{array}{ccccc} {\theta _0} = & {\theta _0} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_0^{\left( i \right)}} \\ {\theta _1} = & {\theta _1} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_1^{\left( i \right)}} \\ {\theta _2} = & {\theta _2} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_2^{\left( i \right)}} \end{array} \right\}\\ \to \theta = \theta - \alpha \delta \\ {\rm{where}}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \delta = \frac{1}{m}{\left( {{h_\theta }\left( x \right) - y} \right)^T}x \end{array}$