《Neural Networks and Deep Learning》第一周学习笔记

《Neural Networks and Deep Learning》第一周学习笔

深度学习介绍

1 什么是神经网络

以房价预测为例：根据房价的相关影响因素（卧室数量、面积大小、邮政编码-便利程度、位置-富裕程度）预测房价
y（房价）=neuron(x：影响因素）
选择RELU函数拟合
o
o o
o
神经网络模型只需要一大批的输出和输出数据，就可以训练模型，由输入层、隐藏层和输出层构成，上述方法也成为监督学习，已知y分成几类的情况

2 监督神经网络

课程介绍了神经网络常用的输入输出和应用实例，如房价预测、图片识别、语音识别。
神经网络示例：
标准神经网络（全连接）、卷积神经网络（图片识别）、循环神经网络（一维序列化数据）
数据常分为结构数据和非结构数据
结构数据：有固定的数据格式，数据库中存储
非结构化数据：图片、文本和音频，深度学习擅长处理非结构化数据

3 深度学习为什么有效

坐标轴中横坐标为数据，纵坐标为表现，当数据量很小时，深度学习和传统的机器学习算法效果基本一致，随着数据量的逐渐增大，深度学习算法效果远超过传统机器学习方法，更大规模的神经网络表现更好
课程中的常用符号为
x-输入
y-输出
m-训练集大小

深度学习崛起的主要因素：数据、计算力和算法创新-目的是加快神经网络的计算

神经网络的一个重大突破-激活函数为例，从之前的sigmoid到RELU
sigmoid的正无穷和负无穷处，梯度几乎为0，神经网络的学习进度会非常慢
RELU的在x<0是为0，x>0时梯度处处为1，极大的提高了算法计算速度，可节省时间训练更大的神经网络
不理解问题但是RELU的在x<0是为0？？？
快速训练神经网络的另一个原因是训练神经网络的过程是个循环，需要不断根据网络效果修改参数重新调试