提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
一、线性模型是什么?
把输入的特征X乘上一个权重,再加上一个偏置,得到预测的结果的模型
二、分段线性曲线
1.模型偏差(Model Bias)
来自模型的限制(无法模拟真实情况)
因此,我们需要一个更复杂,更有灵活性,有更多未知参数的函数
2.hard sigmoid函数
当输入的值介于两个阈值间的时候,图像呈现出一个斜坡,其余位置都是水平的
3.灵活性(flexibility)
代入多个特征构建各种不同的sigmoid函数
4.寻找让损失最小的参数
参数少:穷举
参数多:梯度下降
5.回合VS更新(回合≠更新)
批量(batch)
回合:看过所有的批量
更新:更新参数[次数取决于批量大小(超参数)]
三、模型变形
1.激活函数(activation function)
常见的激活函数:sigmoid函数,ReLU(修正线性单元)
2.神经网络(neural network)
神经网络由神经元(neuron)组成,一列neuron称为neural work的一层(隐藏层)
深度神经网络:隐藏层多(深)
3.过拟合(overfitting)
模型在训练数据和测试数据上的结果不一致//借用群聊中佬的发言:机器“记住了”数据,而不是"学会了”数据(模型在训练数据上表现的非常好,能够很好的识别训练数据中的模式,但遇到新数据时却表现得很差)
四、机器学习框架
训练过程:
1. 先写出一个有未知数 θ 的函数,θ 代表一个模型里面所有的未知参数。这个函数记作fθ(x) 的意思就是函数叫 fθ,输入的特征为 x.
2. 定义损失,损失是一个函数,其输入就是一组参数,旨在判断这一组参数的好坏.
3. 解一个优化的问题,找一个 θ,该 θ 可以让损失的值越小越好。让损失的值最小的 θ 为θ∗,即θ∗ = argminθL
注:
本章超参数汇总:学习率#sigmoid函数#批量大小#改进模型中的反复次数