Logistic Regression 逻辑回归

目录

一. 线性回归 VS Logistic 回归

二. 逻辑回归中需要用到的函数

1. sigmoid函数

2. Logistic回归参数的估计

3. 对数线性模型 

4. Logistic回归损失函数 

 4.1 yi取值为0, 1

4.2 yi 取值为-1, 1 

三.逻辑回归的原理（另一个解释版本）

1. 逻辑回归的原理及损失函数的由来

2. 利用梯度下降法，找到参数theta，使得损失函数最小。

3. 线性回归与逻辑回归损失函数梯度的比较：

四.绘制决策边界，感性的来看一下我们的分类模型的好坏

1. 规则的决策边界

2. 不规则的决策边界

五.逻辑回归中使用正则化，防止过拟合

六.逻辑回归解决多分类问题：

（1）OVR

（2）OVO

---

一. 线性回归 VS Logistic 回归

 

注：不建议使用线性回归解决分类问题

二. 逻辑回归中需要用到的函数

1. sigmoid函数

 

2. Logistic回归参数的估计

 

 

参数的迭代

 

3. 对数线性模型 

也可以反推哦

 

4. Logistic回归损失函数 

 4.1 yi取值为0, 1

 

4.2 yi 取值为-1, 1 

 

 

三.逻辑回归的原理（另一个解释版本）

逻辑回归：解决分类问题

回归问题怎么解决分类问题？

将样本的特征和样本发生的概率联系起来，概率是一个数。

逻辑回归既可以看作是回归算法，也可以看作是分类算法，通常作为分类算法用，只可以解决二分类问题。

1. 逻辑回归的原理及损失函数的由来

2. 利用梯度下降法，找到参数theta，使得损失函数最小。

3. 线性回归与逻辑回归损失函数梯度的比较：

 

四.绘制决策边界，感性的来看一下我们的分类模型的好坏

1. 规则的决策边界

 

决策边界还有可能是下边的类型：

 

2. 不规则的决策边界

通常情况下我们的决策边界肯能是不规则的，不能用简单的表达式很好的进行表示。

如下图所示：

在这里就不详细的介绍原理，sklearn中绘制决策边界就是用此种方法，具体的见程序

五.逻辑回归中使用正则化，防止过拟合

 

L2，L1分别表示L2正则和L1正则。

六.逻辑回归解决多分类问题：

（1）OVR

Sklearn 中LogisticRegression之多以能够解决多分类问题，用的就是OVR。

（2）OVO

很显然，解决多分类问题时，OVO的复杂度要比OVR的复杂度高，因为在OVO中，n个类别需要进行C(n,2)次分类，明显多于 OVR中进行的n次分类。但是由于OVR每次只拎出一个类别，混淆了其它类别，所以分类的准确度没有用OVO分类的准确度高。