岭回归概念及scikit-learn实操

最新推荐文章于 2024-04-25 15:44:35 发布

zyl26

最新推荐文章于 2024-04-25 15:44:35 发布

阅读量356

点赞数

分类专栏： scikit-learn学习笔记文章标签： python 线性回归

本文链接：https://blog.csdn.net/zyl26/article/details/119418630

版权

scikit-learn学习笔记专栏收录该内容

3 篇文章 0 订阅

订阅专栏

岭回归是针对最小二乘法在特征过多或属性间存在复共线性导致非满秩矩阵或非正定矩阵问题的一种解决方法。它通过在原矩阵上添加正则化项，确保矩阵可逆。目标函数包含L2正则化项，正则化系数α控制正则化强度。给定示例代码展示了如何在scikit-learn中实现岭回归，以找到合适的参数。

摘要由CSDN通过智能技术生成

基本概念

在最小二乘法概念及scikit-learn实操中提到最小二乘法适用于 $\textbf{x}^ \mathrm{ T }\textbf{x}$ 为满秩矩阵或正定矩阵，但是实际情况下，由于特征数量n多于样本数量m，或者属性之间存在复共线性，都有可能导致 $\textbf{x}^ \mathrm{ T }\textbf{x}$ 不是满秩矩阵或正定矩阵。为了解决这个问题，岭回归算法的基本思想是在 $\textbf{x}^ \mathrm{ T }\textbf{x}$ 上加上一个 $\lambda\textbf{I}$ 使得矩阵可逆，即 $\textbf{w}=(\textbf{x}^ \mathrm{ T }\textbf{x}+\lambda\textbf{I})^{-1}\textbf{x}^ \mathrm{ T }\textbf{y}$ ，其中 $\textbf{I}$ 是 $n\times n$ 的单位矩阵。

岭回归的目标函数也变为 $(\textbf{w},b)=\mathrm{argmin}\sum_{i=1}^{m}(f((\textbf{x}_{i})-y_{i})^2+\alpha ||\textbf{w}||^{2}$ ,其中 $||\textbf{w}||^{2}$ 称为L2正则化项， $\alpha$ 称为正则化项的系数。

代码实现

假设目标函数为 $y=w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{3}+w_{0}$

已知当 $x_{1}=a_{1}$ ， $x_{2}=b_{1}$ ， $x_{3}=c_{1}$ 时， $y=d_{1}$ ，当 $x_{1}=a_{2}$ ， $x_{2}=b_{2}$ , $x_{3}=c_{2}$ 时， $y=d_{2}$ ，设置正则化项的系数为0.5

则岭回归求参数的代码如下所示

from sklearn import linear_model
rep = linear_model.Ridge(alpha=0.5)
rep.fit([[a1,b1,c1],[a2,b2,c2]],[d1,d2])
print(rep.coef_)
print(reg.intercept_)

zyl26

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录