花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）

目录

0. 前言

1. 学习率衰减

2. 调参策略

3. 贪心监督预训练

4. 贪心逐层无监督预训练

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十八）迁移学习和多任务学习

花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练）

0. 前言

构建模型的策略：

1. 观察损失函数，不断在此模型上调整参数，或增加优化算法
2. 同时训练多个不同的模型，选择模型中较好的一个

有时先训练一个较简单的模型，然后使模型更复杂会更有效。

超参数是指在开始学习的时候设置的参数，而不是通过训练得到的参数。

调参的重要性，通常可以按照下面排列：

1. 学习率