机器学习2基础回归模型之逻辑回归和Softmax回归

逻辑回归和Softmax回归虽然名字里带回归，但是常用来解决分类问题
我们通过比较这两个回归和线性回归来认识他们，他们也常被接在神经网络的最后一层。
(1)模型表达式:

上面g函数的名字为sigmoid函数，其特点是值位于0到1.其作用是把X映射到01之间
(2)分布假设：
线性分布假设样本服从正态分布
逻辑回归假设样本服从伯努利分布
softmax回归假设样本服从多项式分布
(3)损失函数：

首先说一下逻辑回归和softmax回归损失函数这么写的原因
最小化对数损失基本等价于最大化分类器的准确度

下面介绍稍微复杂一些的softmax回归里面损失函数对θ的导数

指示函数I在python中可以用int(y==q)来表示，true=1，false=0
同理，Logistic Regression的损失函数对θ的导数为