动手学习深度学习读书笔记

动手学习深度学习

一、目标

• 对AI、ML、DEEP LEARINING有一个基本的了解；
• 对网络训练、测试、验证有一个较为清楚的认识；
• 对网络的过拟合和欠拟合评估以及怎样避免去避免情况的发生;

二、主要内容

2.1 AI、ML、DEEP LEARINING 区别:

• Artificial intelligence (AI): is intelligence demonstrated by machines, as opposed to the natural intelligence displayed by animals including humans.
• Machine learning (ML): is the study of computer algorithms that can improve automatically through experience and by the use of data.
• Deep learning: is part of a broader family of machine learning methods based on artificial neural networks with feature learning. Learning can be supervised, semi-supervised or unsupervised.

​ 主要关系如下图:

​ 图1

2.2 训练、测试、验证

• 训练: 通过数据获取结果和真实结果比对来调整网络参数;
• 验证: 通过数据获取结果来对超参数进行调整;
• 测试: 对训练和验证好参数的网络的结果和真实的结果比对，验证其准确率;

2.3 网络的优化的方式

• 欠拟合: 训练误差和测试误差都很大，但是他们之间的差距不大;
• 过拟合: 训练误差明显低于验证误差，并且误差都比较小;

具体的解决方式，主要看网络而言:当时欠拟合时需要可能需要修改模型或者增加训练数据，当网络过拟合时，需要根据网络可以使用随机梯度下降或者引入一些随机性调整网络的参数；

三、总结

​ 深度学习主要是通过现有的数据和对应的结果，通过函数的方式去拟合这个结果，有点类似线性回归主要的网络设计就是提高输入和结果的拟合精度。

四、附录

d2l