贝叶斯相关（概率论）

最新推荐文章于 2021-12-05 21:03:42 发布

Marshal Zheng

最新推荐文章于 2021-12-05 21:03:42 发布

阅读量2.1k

点赞数 2

分类专栏：数学-概率论

本文链接：https://blog.csdn.net/zysps1/article/details/87910569

版权

数学-概率论专栏收录该内容

3 篇文章 0 订阅

订阅专栏

贝叶斯相关（概率论）

贝叶斯公式及朴素贝叶斯分类算法应用初探

作者：Marshal

【摘要】

贝叶斯公式在现代发展中扮演着越来越重要的角色，本文通过生动有趣的应用实例详细介绍了贝叶斯公式、贝叶斯推理和朴素贝叶斯分类算法的原理和使用方法。

【关键词】

贝叶斯公式、贝叶斯推理、朴素贝叶斯分类算法

引言

贝叶斯公式是英国学者托马斯·贝叶斯最早发现的，首次发表在1763年，当时贝叶斯已经去世，其结果没有受到应有的重视，法国数学家拉普拉斯再一次总结了这一结果．此后，人们逐渐认识到这个著名概率公式的重要性。[3]

现代社会，贝叶斯理论在人们生活中扮演着越来越重要的角色。贝叶斯理论及应用分支众多，其在数学领域，有例如贝叶斯分类算法、贝叶斯风向、贝叶斯统计等，在工程领域，有例如贝叶斯分析、贝叶斯逻辑、贝叶斯网络等，在其他领域，有贝叶斯主义、有信息的贝叶斯决策方法等。

特别是人工智能和机器学习越来越受欢迎的今天，贝叶斯定理、贝叶斯网络、贝叶斯算法、贝叶斯学习等在人工智能和模式识别中有相当大的应用。

本文我们将从概率论中所学的贝叶斯公式出发，对贝叶斯思想进行一个初步了解，从而对以后的工程思想有一定的帮助。

1．定理内容及内涵解析

1.1贝叶斯公式[1]

若A1,A2,…,An为完备事件组，那么对任一事件B，若P(B)>0,P(Ai)>0,i=1,2,…,n,则有

P(Ak|B)=,k=1,2,…,n.

1.2内涵解析

贝叶斯公式再概率论和数理统计中有着广泛的应用，其中的B通常被看作随机试验的某一结果，A1 ,A2 ,…,An 是导致B发生的原因。P(Ai)(i=1,2,…,n)成为先验概率，而条件概率P(Ai|B)(i=1,2,…,n)成为后验概率。贝叶斯公式在一定程度上可以帮助人们分析事情发生的原因，如果将全概率公式和贝叶斯公式作一比较会发现，全概率公式是由因溯果，而贝叶斯公式则是由果溯因。

1.3趣味实例认识条件概率公式和贝叶斯公式

假设小美抱着一只小狗，那么所抱的小狗可爱的概率很大，若是以这个作为条件概率分析结果，当假设小美抱着一个可爱的东西，那么这个东西是小狗的概率就很小了，因为这个可爱的东西可能是小狗，小猫，小兔子，甚至是个可爱的宝宝，这个便是对应的贝叶斯推理分析结果，岂不是差异明显？

2．贝叶斯公式应用

实例[5]：

“狼来了”的故事想必大家都知道，小孩子第三次对村民说狼来了的时候，村民们没有相信他的话，从而酿成小孩子被狼吃掉的结局，这个故事告诉我们做人要诚信。小时候，我们都能感性地认识到随着小孩子撒谎次数增加，村民对小孩子越来越不信任了，但村民对小孩子的信任度如何用理性的数学来刻画，让我们从更深层次理解小孩子的结局呢？

解答：设事件A表示小孩子说谎，事件B1表示小孩子可信,B2表示小孩子不可信。

由于本问题是实际问题，我们做如下假设：假设开始村民对小孩子的信任度为0.8，即P(B)=0.8，假设可信的小孩子说谎的概率为0.1，即P(A|B1)=0.1，不可信的小孩子说谎的概率为0.5，即P(A|B2)=0.5

第一次小孩子说了谎，村民上山白跑一趟，由贝叶斯公式知：

这时村民对小孩子的信任度为：

P(B|A)=≈0.44

第二次小孩子又说了谎，村民上山又白跑一趟，由贝叶斯公式知：

这时村民对小孩子的信任度为：

P(B|A)=≈0.13

由此可见，第二次小孩子说谎后，村民对他的信任度已经下降到0.13，他已经是一个非常不可信的孩子了，谁还会去救他呢？

3．应用贝叶斯公式进行贝叶斯推理

实例：

假设在电子科技大学某学期体检中，男生在一个体检室，女生在一个体检室，由于效率有限，你作为一个男生排在浩浩荡荡的男生体检室门口的队伍里。突然，你眼前一亮，前方有一个长发“小姐姐”？不，实际上你并不知道是他还是她，但是排队实在无聊，如果是长发小姐姐的话，你正在预谋这一场搭讪，虽然她极有可能是正在等待她男朋友。那么，你将应用概率论的知识进行一场贝叶斯推理（靠常识和背景知识判断之外的数学实现方式，以实现更精准的预测）来决定是否要去搭讪。

解答：由于是在男生体检室门前，我们假设有100人正在门口等候，其中98个男生，2个是女生，正在等待其男朋友。假设女生中长发、短发人数之比为1:1，男生中短发与长发之比为24:1，记男生体检室门口，女生出现的事件为A1，男生出现的事件为A2，某个人是长发的事件为B，根据假设，则有P(B|A1)=0.5，P(B|A2)=0.04，P(A1)=0.02，P(A2)=0.98.

根据联合概率得：

P(A1B)=P(A1)P(B|A1)=0.02×0.5=0.01

P(A2B)=P(A2)P(B|A2)=0.98×0.04=0.0392

根据贝叶斯公式：

P(A1|B)=

=0.20

由于0.20<0.25（竟然小于某高校女男比例！）,所以不建议前去搭讪，况且在男生体检时门口等候的女生极有可能是有男朋友的，故0.20再乘以某一极小值（搭讪成功系数）得到的必是极小值，故不如拿这时间看看概率论。

4．朴素贝叶斯分类算法初探

4.1贝叶斯分类器表达式[2]

假设有N种可能的类别标记，即y={c1,c2,…,cN}.在机器学习中，基于有限的训练样本集尽可能准确地估计出后验概率P{c|x},大体来说，有两种策略，一种是“判别式模型”，例如决策树、BP神经网络、支持向量机等，一种是生成式模型，而对生成式模型，必然考虑

P(c|x)=, (4.1.1)

其中，P(c|x)是类“先验”概率；P(x|c)是样本x相对于类标记c的类条件概率，或称为“似然”；P(x)是用于归一化的“证据因子”。

朴素贝叶斯分类器采用了“属性条件独立性假设”，对已知类别，假设所有属性相互独立。则4.1.1式可写为

P(c|x)== (4.1.2)

其中d为属性数目，xi为x在第i个属性上的取值。

由于对所有类别来说P(x)相同，因此基于贝叶斯判定准则有

hnb(x)=argmaxc∈y p(c)

这就是朴素贝叶斯分类器的表达式。

4.2朴素贝叶斯分类算法核心公式

朴素贝叶斯分类算法是贝叶斯分类中最简单、最常用的一种算法。分类算法的任务就是构造分类器，分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。

简单明了的表达形式如下：

P(类别|特征)=

上式就是我们的“贝叶斯公式”！

4.3实例演示

某大学生小蒋暗恋一个女同学小江，暗恋了三年之后，对方好像并没有注意到他！到了大四，他觉得有必要主动去表白了，但是他不知道能不能成功。好在在这三年里，小蒋暗中收集到了小江收到的12次表白和恋爱数据（如图4.3.1），而且单身三年的小蒋专心学习，概率论学的也不错，故他想要先分析一下，小蒋照了下镜子，默默写下自己的四个条件：不帅、性格不好、身高矮、上进。

男生序号	帅？	性格好？	身高？	上进？	接受？
1	帅	不好	矮	不上进	不接受
2	不帅	好	矮	上进	不接受
3	帅	好	矮	上进	接受
4	不帅	好	高	上进	接受
5	帅	不好	矮	上进	不接受
6	不帅	不好	矮	不上进	不接受
7	帅	好	高	不上进	接受
8	不帅	好	高	上进	接受
9	帅	好	高	上进	接受
10	不帅	不好	高	上进	接受
11	帅	好	矮	不上进	不接受
12	帅	好	矮	不上进	不接受