百度飞桨系列课程:百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第五日)

百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第五日)
首先声明,不详细讲解代码部分,主要是针对课程的理解及对作业的分析。(要是有代码相关问题可以私信)
> 不把课件里的复制粘贴,只谈自己的理解。
之前的文章:
飞浆PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡(预习日)
飞浆PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第一日)
飞浆PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第二日)
飞浆PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第三日)
飞浆PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡(第一周第四日)

在这里插入图片描述
今天是“手写体识别”这个项目的最后一节了,毕然老师的讲解依然是生动形象啊,先是讲了项目的资源配置,主要是对CPU和GPU的选择,介绍了分布式训练的实现原理(模型并行和数据并行、PRC通信方式和NCCL2通信方式),接着探讨如何通过训练调试与优化,提升模型准确度(计算分类准确率,观测模型训练效果。检查模型训练过程,识别潜在问题。加入校验或测试,更好评价模型效果。加入正则化项,避免模型过拟合。可视化分析。)。最后讲的是如何通过恢复训练,提高模型训练效率。(个人认为这个地方还算比较简单,目前通过增加和修改几行代码就能实现还容易理解)主要记住保存模型时同时保存模型参数和优化器参数。恢复参数时同时恢复模型参数和优化器参数。课程里面详细介绍了PolynomialDecay接口,大家可以看一下接口的API文档进行了解。最后毕然老师留了个练习题,前十名还给小奖品,大家加油哦~ 代码我就不在这发了,有需要借鉴的私信我哦。

作业

  • 本着给大家解惑的想法,给出答案解析,大家放心,第一个满分一定是我这篇博文发出之前的哦~

在这里插入图片描述

1.paddle.dataset.mnist.train()MNIST训练数据集的creator。==>(接口文档)

2.调整模型训练的学习率是在优化器里面定义,然后优化器是写在 with fluid.dygraph.guard(place): 这个训练配置里面的。
3.使用optimizer.state_dict()获取优化器和学习率相关的参数。==>(接口文档)

在这里插入图片描述

4.恢复训练需要从磁盘中读取到保存的模型参数和优化器参数。既然读取参数,那么读取参数的权重也是必要的。我们保存的时候默认也保存了权重信息。===>(API文档接口原文接口)

5.这四个优化器都是有接口的===>(优化器接口文档

有什么不对或者可以改进的地方请评论
在这里插入图片描述

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非鱼子焉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值