吴恩达机器学习（十五）大规模机器学习（Batch、Stochastic、Mini-batch gradient descent、MapReduce）

最新推荐文章于 2024-10-02 15:11:16 发布

I can丶

最新推荐文章于 2024-10-02 15:11:16 发布

阅读量1.3k

点赞数 1

分类专栏：机器学习文章标签：机器学习梯度下降 MapReduce Mini-batch gradient descent Batch gradient descent

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zhq9695/article/details/83037855

版权

这篇博客总结了吴恩达机器学习课程中关于大规模机器学习的内容，包括Stochastic Gradient Descent、Mini-batch Gradient Descent和MapReduce的优化方法。Stochastic Gradient Descent通过随机选取样本进行参数更新，而Mini-batch Gradient Descent则在每次更新时使用一部分样本。MapReduce则利用分布式计算加速训练过程。此外，还介绍了在线学习的概念，即模型随着新数据的到达实时更新参数。

摘要由CSDN通过智能技术生成

目录

1. Stochastic Gradient Descent

2. Mini-batch Gradient Descent

4. 在线学习（online learning）

学习完吴恩达老师机器学习课程的大规模机器学习，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0. 前言

已知梯度下降算法 $\theta_{j}:=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)}$ ，当数据集很大时，每一次更新 $\theta$ 所需的时间很长，何况需多次迭代，所需时间太久。所以对此优化，有以下几种优化方法：

Stochastic gradient descent
Mini-batch gradient descent
MapReduce

1. Stochastic Gradient Descent

Stochastic gradient descent（随机梯度下降）的算法流程如下：

易得，算法先根据 $(x^{(1)},y^{(1)})$ 对

最低0.47元/天解锁文章

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。