线性回归与非线性回归：1.0一元线性回归与代价函数（损失函数）

最新推荐文章于 2023-11-23 19:00:00 发布

zy_小轩

最新推荐文章于 2023-11-23 19:00:00 发布

阅读量1.9k

点赞数

分类专栏：机器学习基础

本文链接：https://blog.csdn.net/zy_505775013/article/details/88683460

版权

机器学习基础专栏收录该内容

17 篇文章 1 订阅

订阅专栏

回归分析：用来建立方程模拟两个或者多个变量之间如何关联
因变量：被预测的变量（结果/标签），输出
自变量：被用来进行预测的变量（特征），输入
一元线性回归：包含一个自变量与一个因变量，并且变量的关系用一条直线来模拟
一元线性回归
公式： $\bg_white \small h_{\theta }(x)=\theta _{0}+\theta _{1}x$

这个方程对应的图像是一条直线，称作回归线。其中， $\theta _{1}$ 为回归线的斜率， $\theta _{0}$ 为回归的截距。
相关性：

正相关： $\theta _{1}>0$
不相关： $\theta _{1}=0$
负相关： $\theta _{1}<0$
代价函数
一般使用最小二乘法：真实值，预测值 $h_{\theta }(x)$ ，则误差平方为 $(y-h_{\theta }(x))^{2}$ ，找到合适的参数，使得误差平方平方和最小
$\underset{\theta _{0},\theta _{1}}{mininmize}J(\theta _{0},\theta _{1})=\frac{1}{2m} \sum_{i=1}^{m}(y_{i}-h_{\theta }(x_{i}))^2$
其中共有m个样本点，乘以 $\frac{1}{2}$ 是为了方便计算，如求导。
相关系数
定义：相关关系是一种非确定性的关系，相关系数是研究变量之间线性相关程度的量。
公式： $r_{xy}=\frac{\sum (x_{i}-\overline{x}) (y_{i}-\overline{y})}{\sqrt{\sum (x_{i}-\overline{x})^2\sum (y_{i}-\overline{y})^2}}=\frac{cov(x,y)}{\sqrt{var[x]var[y]}}$
决定系数
定义：相关系数 $R^{2}$ 是用来描述两个变量之间的线性关系的，但决定系数的适用范围更广，可以用于描述非线性或者有两个及两个以上自变量的相关关系。它可以用来评估模型的效果。
总平方和(SST)： $\sum_{i=1}^{n}(y_{i}-\overline{y})^2$
回归平方和(SSR)： $\sum_{i=1}^{n}(\widehat{y}-\overline{y})^2$
残差平方和(SSE)： $\sum_{i=1}^{n}(y_{i}-\widehat{y})^2$
$y_{i}$ 真实值 $\overline{y}$ 真实值的平均值 $\widehat{y}$ 预测值
它们三者的关系是：
决定系数： $R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}$
用梯度下降法求解线性回归
一元线性回归方程： $\bg_white \small h_{\theta }(x)=\theta _{0}+\theta _{1}x$
参数： $\theta _{0}$ ， $\theta _{1}$
代价函数： $J(\theta _{0},\theta _{1})=\frac{1}{2m} \sum_{i=1}^{m}(y_{i}-h_{\theta }(x_{i}))^2$
目标： $\underset{\theta _{0},\theta _{1}}{mininmize}J(\theta _{0},\theta _{1})$
梯度下降法：不断改变 $\theta _{0}$ ， $\theta _{1}$ 直到 $J(\theta _{0},\theta _{1})$ 达到一个全局最小或者局部最小。

repeat until convergence{
$\theta _{j} :=\theta _{j}-\alpha \frac{\partial }{\partial \theta _{j}}J(\theta _{0},\theta _{1})$ (for j = 0 and j = 1)
}
$\alpha$ 为学习率，当学习率过大会造成不收敛也就是找不到一个全局最小值或者局部最小值，学习率过小会浪费大量的时间进行计算。

正确的做法：同步更新
$tempt0 :=\theta _{0}-\alpha \frac{\partial }{\partial \theta _{0}}J(\theta _{0},\theta _{1})$
$tempt1 :=\theta _{1}-\alpha \frac{\partial }{\partial \theta _{1}}J(\theta _{0},\theta _{1})$
$\theta _{0}:=temp0$
$\theta _{1}:=temp1$

使用梯度下降

repeat until convergence{
$\small \theta _{0} :=\theta _{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\theta }(x_i)-y_i)$
$\small \theta _{1} :=\theta _{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\theta }(x_i)-y_i)*x_i$
}

zy_小轩

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
线性回归与非线性回归：1.0一元线性回归与代价函数（损失函数）

回归分析：用来建立方程模拟两个或者多个变量之间如何关联因变量：被预测的变量（结果/标签），输出自变量：被用来进行预测的变量（特征），输入一元线性回归：包含一个自变量与一个因变量，并且变量的关系用一条直线来模拟一元线性回归公式：这个方程对应的图像是一条直线，称作回归线。其中，为回归线的斜率，为回归的截距。相关性：正相关：不相关：...
复制链接

扫一扫