统计学习方法 第六章 | 逻辑斯蒂回归

目录

1 逻辑斯蒂回归模型

2 模型参数估计

3 多分类逻辑斯蒂回归

4 逻辑回归和线性回归的区别

---

1 逻辑斯蒂回归模型

 

2 模型参数估计

似然函数 L(w|x) = P(x|w)

可以采用对L(w)进行梯度上升的方法进行学习

* 梯度推导过程

 

3 多分类逻辑斯蒂回归

 

4 逻辑回归和线性回归的区别

首先，逻辑回归处理的是分类问题，而线性回归处理的是回归问题。
一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是p/1-p，该事件的对数几率是log(p/1-p)。

对逻辑回归的公式进行整理可以得到：

所以逻辑回归可以看做是对Y=1这一事件的对数几率的线性回归，这也是“逻辑回归”这一称谓的由来。