李宏毅机器学习-task4

 

参考：https://note.youdao.com/ynoteshare1/index.html?id=47ee5998b8abe6e51f3a587ba547bbdf&type=note

 

从基础概率推导贝叶斯公式，朴素贝叶斯公式(1)

还在研究

 

• 学习先验概率与 学习后验概率

参考：https://zhuanlan.zhihu.com/p/26464206

为了很好的说明这个问题，在这里举一个例子：

玩英雄联盟占到中国总人口的60%，不玩英雄联盟的人数占到40%：

为了便于数学叙述，这里我们用变量X来表示取值情况，根据概率的定义以及加法原则，我们可以写出如下表达式：

P(X=玩lol)=0.6；P(X=不玩lol)=0.4，这个概率是统计得到的，即X的概率分布已知，我们称其为先验概率(prior probability)；

另外玩lol中80%是男性，20%是小姐姐,不玩lol中20%是男性，80%是小姐姐,这里我用离散变量Y表示性别取值，同时写出相应的条件概率分布：

 

P(Y=男性|X=玩lol)=0.8，P(Y=小姐姐|X=玩lol)=0.2

P(Y=男性|X=不玩lol)=0.2，P(Y=小姐姐|X=不玩lol)=0.8

那么我想问在已知玩家为男性的情况下，他是lol玩家的概率是多少：

依据贝叶斯准则可得：

P(X=玩lol|Y=男性)=P(Y=男性|X=玩lol)*P(X=玩lol)/

[ P(Y=男性|X=玩lol)*P(X=玩lol)+P(Y=男性|X=不玩lol)*P(X=不玩lol)]

 

最后算出的P(X=玩lol|Y=男性)称之为X的后验概率，即它获得是在观察到事件Y发生后得到的

 

• 学习LR和linear regreeesion之间的区别(4)

• 逻辑回归和线性回归都是广义的线性回归
• 线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数
• 线性回归的输出是实域上连续值，LR的输出值被S型函数映射到[0,1]，通过设置阀值转换成分类类别
• liner regression期望拟合训练数据,通过feature的线性加权来预测结果; logistic regression是在训练一个最大似然分类器。

• 推导sigmoid function公式(5)