1.2线性模型
1.2.1激活函数 ···实现曲线拟合
sigmoid函数···用于逼近不好表示的hard sigmoid函数
ReLu函数···可以用两个它来表示hard sigmoid函数
1.2.2函数灵活性
增加可学习的参数数量···虽然函数仍是线性组合,但是随参数增加拟合性能大幅增强
如:sigmoid外面再加参数求和
1.2.3未知参数的更新
······将参数以矩阵形式统一以θ来打包,利用梯度下降算法进行更新
批量(batch)···将大的整体数据分为N组
回合(epoch)···将每个batch都更新一次或者说把每个参数都更新一遍
1.2.4
多层神经网络----》深度学习
过拟合···随着模型层数增加或可学习参数增加而导致训练集表现变好但预测表现变差的现象
1.2.5机器学习框架
训练
1.确定输入参数与目标输出值,构造模型函数
2.定义损失函数
3.转化为优化问题···求解使得损失L最小对应的参数θ
······反向传播算法