逻辑回归
逻辑回归是一种用于监督学习问题的学习算法,它的输出y全是0或者1。逻辑回归的目标是减小预测与训练数据的误差。
例子:是猫 VS 不是猫
给定一个用特征向量x表示的图像,该算法将会估计那幅图是猫的可能性。
逻辑回归用到的参数:
- 输入特征向量:,是特征的数量
- 训练标记:
- 权重:,是特征的数量
- 下限:
- 输出:
- Sigmoid函数:
是一种线性函数,我们用Sigmoid函数来使可能性介于[0,1]
由图可知:
- 如果z是一个很大的正数,那么sigmoid(z) = 1
- 如果z是一个很小的负数,那么sigmoid(z) = 0
- 如果z = 0,那么sigmoid(z) = 0.5