简介
逻辑斯蒂回归（logistic regression，LR）是统计学习中经典的分类方法，属于对数线性模型。是目前使用最多的机器学习分类方法，在推荐系统中的应用非常广泛。
基本思想
假定只考虑二分类问题，随机变量X取值为实数，随机变量Y取值为1或0。二项逻辑斯蒂回归模型是如下的条件概率分布：
P ( Y = 1 ∣ x ) = e x p ( w ⋅ x + b ) 1 + e x p ( w ⋅ x + b ) P ( Y = 0 ∣ x ) = 1 1 + e x p ( w ⋅ x + b ) P(Y=1|x) = \frac{exp(w\cdot x +b)}{1+exp(w\cdot x +b)} \\ P(Y=0|x) = \frac{1}{1+exp(w\cdot x +b)} P(Y=1∣x)=1+exp(w⋅x+b)exp(w⋅x+b)P(Y=0∣x)=1+exp(w⋅x+b)1
其中 x ∈ R n x\in \mathbb{R}^n x∈Rn 是输入， Y ∈ { 0 , 1 } Y\in \{0,1\} Y∈{
0,1} 是输出， w ∈ R n w\in \mathbb{R}^n w∈Rn和 b ∈ R b\in \mathbb{R} b∈R是参数。 w w w 称为权值向量， b b b 称为偏置， w ⋅ x w\cdot x w⋅x 为 w w w和 b b b的内积。
逻辑斯蒂回归模型的特点：一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生概率是 p p p，那么该事件的几率是 p 1 − p \frac{p}{1-p} 1−pp，该事件的对数几率或logit函数是 l o g i t ( p ) = l o g p 1 − p {\rm logit}(p) = {\rm log}\frac{p}{1-p} logit(p)=log1−pp
对LR而言，有
l o g P ( Y = 1 ) 1 − P ( Y = 1 ) = w ⋅ x + b {\rm log} \frac{P(Y=1)}{1-P(Y=1)} = w\cdot x +b log1−P(Y=1)P(Y=1)=w⋅x+b
在逻辑斯蒂回归模型中，输出 Y = 1 Y=1 Y=1 的对数几率是输入 x x x 的线性函数。
模型参数估计
设：
P ( Y = 1 ∣ x ) = π ( x ) , P ( Y = 0 ∣ x ) = 1 − π ( x ) P(Y=1|x) = \pi(x),\ P(Y=0|x) = 1-\pi(x) P(Y=1∣x)=π(x), P(Y=0∣x)=1−π(x)
最低0.47元/天 解锁文章
3986
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
