#Datawhale X 李宏毅苹果书 AI夏令营#笔记02

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

一、线性模型是什么？

把输入的特征X乘上一个权重，再加上一个偏置，得到预测的结果的模型

二、分段线性曲线

1.模型偏差（Model Bias)

来自模型的限制（无法模拟真实情况）

因此，我们需要一个更复杂，更有灵活性，有更多未知参数的函数

2.hard sigmoid函数

当输入的值介于两个阈值间的时候，图像呈现出一个斜坡，其余位置都是水平的

3.灵活性（flexibility)

代入多个特征构建各种不同的sigmoid函数

4.寻找让损失最小的参数

参数少：穷举

参数多：梯度下降

5.回合VS更新（回合≠更新）

批量（batch)

回合：看过所有的批量

更新：更新参数[次数取决于批量大小(超参数）]

三、模型变形

1.激活函数（activation function)

常见的激活函数：sigmoid函数，ReLU（修正线性单元）

2.神经网络（neural network)

神经网络由神经元（neuron）组成，一列neuron称为neural work的一层（隐藏层）

深度神经网络：隐藏层多（深）

3.过拟合(overfitting)

模型在训练数据和测试数据上的结果不一致//借用群聊中佬的发言：机器“记住了”数据，而不是"学会了”数据（模型在训练数据上表现的非常好，能够很好的识别训练数据中的模式，但遇到新数据时却表现得很差）

四、机器学习框架

训练过程：

1. 先写出一个有未知数 θ 的函数，θ 代表一个模型里面所有的未知参数。这个函数记作fθ(x) 的意思就是函数叫 fθ，输入的特征为 x.

2. 定义损失，损失是一个函数，其输入就是一组参数，旨在判断这一组参数的好坏.

3. 解一个优化的问题，找一个 θ，该 θ 可以让损失的值越小越好。让损失的值最小的 θ 为θ∗，即θ∗ = argminθL 

注：

本章超参数汇总：学习率#sigmoid函数#批量大小#改进模型中的反复次数