Deep Learning线性回归的讲解

zheliu_liuyi

已于 2023-06-13 20:46:20 修改

阅读量70

点赞数

文章标签：线性回归机器学习算法

于 2023-06-13 14:26:48 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zheliu_liuyi/article/details/131186887

版权

本文介绍了深度学习中线性回归的概念，通过最小化均方误差(MSE)来确定权重向量w，利用梯度下降法优化模型。线性回归模型的目标是找到最佳权重，使得预测值与真实值之间的差距最小。MSE被选用为衡量指标，因为它同时考虑了偏差和方差。

摘要由CSDN通过智能技术生成

本文主要总结一下深度学习Deep Learning一书中关于线性回归的解释:

我们希望构建一个这样的函数

$\hat{y}=\textbf{w}^\intercal\textbf{x}$

其中 $\textbf{w}^\intercal$ 中的每个元素为对每个xi的一个对应系数,也就是一个权重,x中的每个元素和其权重的乘积加和得到y的预测值

我们希望对于测试集能够得到较好的效果,也就是

$\mathrm{MSE}_{test}=\frac{1}{m}\sum_{i}^{} (\hat{y}^{test}-y^{test})^2$

最小(最小二乘法)

我们没有可我们构建时是拿训练集来构建w的呀

因此我们拿

$\mathrm{MSE}_{train}=\frac{1}{m}\sum_{i}^{} (\hat{y}^{train}-y^{train})^2$

来代替上述的公式

为求其最小值,我们对其关于w求导(向量求导),并令其等于0,获取对应的w

进一步替换:

请注意

是一个向量

因此其2范式为转置和其的乘积,即:(常数省略了)

展开:

对其3部分求导:

第一部分满足:

由于 $X^TX$ 为对称矩阵(任何一个矩阵的 $X^TX$ 都为对称矩阵),则结果为

第二部分满足:

结果为:

最后一部分与w无关,为0

我们得到了

即:

这样,我们就构建了一个线性回归模型了

线性回归的扩展:

补充:

为啥选定了MSE作为衡量指标呢?

因为MSE既能体现偏差Bias,又能体现方差Var

$Bias(\hat{\theta})=E(\hat{\theta})-\theta$

$Val(\hat{\theta})=D(\hat{\theta})=E((\hat{\theta})^2)-E^2(\hat{\theta})$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Deep Learning线性回归的讲解

中的每个元素为对每个xi的一个对应系数,也就是一个权重,x中的每个元素和其权重的乘积加和得到y的预测值。为求其最小值,我们对其关于w求导(向量求导),并令其等于0,获取对应的w。因此其2范式为转置和其的乘积,即:(常数省略了)我们没有可我们构建时是拿训练集来构建w的呀。这样,我们就构建了一个线性回归模型了。我们希望构建一个这样的函数。能够得到较好的效果,也就是。为对称矩阵(任何一个矩阵的。都为对称矩阵),则结果为。最后一部分与w无关,为0。
复制链接

扫一扫

博客等级

码龄3年

10
原创

2
点赞

5
收藏

1
粉丝

关注

私信

热门文章

最新评论

修正《深入应用C++11代码优化与工程级应用》代码错误
CSDN-Ada助手: 恭喜您撰写了第10篇博客！标题为“修正《深入应用C++11代码优化与工程级应用》代码错误”，非常令人期待。不仅能发现并修复代码错误，还能分享给读者，这真是一项非常有价值的工作。希望您能持续创作，为我们带来更多优质的内容。在下一步的创作中，或许您可以考虑与读者更进一步互动，例如与读者分享您修正错误的思路和过程，或者提供一些实用的代码优化技巧。这样的分享将会更加丰富和深化读者对于C++11代码优化的理解，相信会对读者有更大的帮助。期待您的下一篇博客！
C++ 用宏+匿名类实现枚举
CSDN-Ada助手: 恭喜您写了第9篇博客！标题中的内容很有吸引力，引起了我的兴趣。使用宏和匿名类实现枚举的方法听起来很有趣，我期待着深入了解您在博文中的实现方式。您的持续创作真是令人钦佩，您对C++语言的研究和分享给读者带来了很多价值。在下一步的创作中，我建议您可以考虑深入探讨如何利用这种方法解决具体的实际问题，或者提供一些实用的示例代码，这样读者们可以更好地理解和运用这种技术。谢谢您的分享，期待您的下一篇博客！
类型特征提取
CSDN-Ada助手: 非常感谢你分享这篇关于类型特征提取的博客，对于程序员来说，掌握新技术和工具非常重要。除了C++11的静态类型检测，你可能也可以探索一下其他语言的类型特征提取，例如Java的反射机制和Python的类型注解。此外，还可以研究一下如何在实际项目中应用类型特征提取来提高代码的可读性和可维护性。期待你的更多精彩文章！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2 如果您持续创作，完成第三篇博客，并且质量分达到 80 分以上，在评论区就有机会获得红包奖励哦！
Deep Learning线性回归的讲解
CSDN-Ada助手: 非常感谢用户的分享，这篇关于Deep Learning线性回归的讲解非常有用！能够深入浅出地讲解复杂的技术问题，不仅对自己的学习有很大的帮助，也对广大读者有指导意义。希望用户能够继续坚持创作，分享更多的技术知识，让更多人受益。同时，也建议用户可以结合实际案例，对技术进行更深入的探讨，让读者更好地理解技术本质与实际应用。期待用户更多的创作！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply6 看奖励名单。
对于欠拟合和过拟合的理解
CSDN-Ada助手: 恭喜您写了这样一篇有关欠拟合和过拟合的博客，很有深度和启发性。您对这两个概念的理解非常到位，让人受益匪浅。我希望您能继续坚持创作，分享更多有关机器学习和人工智能的知识。下一步建议可以探讨一些实际应用中的例子，以及如何解决欠拟合和过拟合的问题。感谢您的分享！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply7 看奖励名单。

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。