【机器学习】朴素贝叶斯-贝叶斯公式

原创 2018年04月16日 15:20:16

       曾以为数理是这世上最绝对、最客观、最远离哲学的,慢慢地我发现其实他们是最不绝对、最不客观、最含有哲学意味儿的。这个看法改变的过程,其实是对世界深度认知的过程,在感性与理性中探索有限与无限。感触有点深,主要是最近对概率统计以及微积分的学习与研究,让我知道那些公式背后都有一些难以跨过的坎。今天不感慨,整理一下几个月前看贝叶斯公式的思路。

       之前介绍条件概率的时候,写的贝叶斯公式中只有AB,是因为我们假设在全集U中,只有AB两个事件,基于这样一个图(这里的AB和上篇博客的AB互换了):


       在这张图中,假设黄色区域为C,面积为cABU的面积分别为a,b,u,那么,贝叶斯公式可以表示为:已知A的面积占U的百分比为P(A)B的面积占U的百分比为P(B),C的面积占B的百分比为P(A|B),求C的面积占A的百分位P(B|A)是多少?我们可以利用面积自己证明一下上篇博客中的贝叶斯公式。

       实际上,U全集中的事件远不止AB,我们假设U全部由多个B组成,从B1Bn,每个B都是相互独立的(朴素),这些B的全集会覆盖A。图和公式如下,再来明确一下贝叶斯公式中的概念。



       P(Bi)是先验概率,是Bi发生的概率,先验概率是在得到实验观测值之前对一个参数概率的主观判断,然后我们得到一个先验概率,通过不断实验对这个数据进行修正,从而得到更接近真实客观的概率值。先验概率不需要通过贝叶斯公式计算。

       P(Bi|A)是后验概率(也叫条件概率),是在A发生的情况下Bi发生的概率,把Bi看做原因,A看做结果,可以认为是在结果已经发生的情况下,求由Bi这一因素引起的概率多大。我看到一种更好的说法。

————————————————————————————————————————————————————

       "如果我们把事件A看做'结果',把诸事件B1,B2...看做导致这个结果的可能的'原因',则可以形象地把全概率公式看做成为'由原因推结果';而贝叶斯公式则恰好相反,其作用于'由结果推原因':现在有一个'结果'A以发生,在众多可能的'原因',到底是哪一个导致了这结果。"

————————————————————————————————————————————————————


全概率:Bi引发A发生的概率的和,即 P(B1)*P(A|B1)+P(B2)*P(A|B2)+……+P(Bi)*P(A|Bi)+……P(Bn)*P(A|Bn)

于是我们得到了更一般的贝叶斯公式:


       先验概率和后验概率变成了概率分布,全概率用求和的方式表示。

      似然函数:P(A|Bi)被叫作类条件概率,我觉得应该也是条件概率,只不过在这里条件是A,所以不能再叫作条件概率而已。所以,这里写成了f(A|Bi),是我们观测到的样本A的分布,叫作似然函数。

      B的分布是离散的,可以用求和来求全概率。当B的分布是连续的时,只能通过积分来求,所以,贝叶斯公式又演变成了下面这样:


       先验概率的引入,使得当时贝叶斯统计学并不被认可,这也正是贝叶斯统计最具创造性之处。有人说,人工智能的原理,就是基于大量的数据,按照某种规律,进行大量的计算,最终总会收敛到我们想要的结果,我觉得很对。但对于从先验概率开始,通过不断的迭代与修正最终得到了后验概率,这一观点我并不认同,但又总觉得那个原理一定指导着什么。我也不太清楚先验概率的取值对所求的后验概率究竟有怎样的影响。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhuanzhe117/article/details/79960865

通俗易懂机器学习——朴素贝叶斯算法

本文将叙述朴素贝叶斯算法的来龙去脉,从数学推导到计算演练到编程实战文章内容有借鉴网络资料、李航《统计学习方法》、吴军《数学之美》加以整理及补充基础知识补充: 1、贝叶斯理论–吴军数学之美 http...
  • snanda
  • snanda
  • 2016-05-09 12:54:57
  • 4707

关于机器学习中的朴素贝叶斯以及拉普拉斯平滑

看过我博文的同学可能知道机器学习之中,存在着监督学习以及生成学习,其主要区别我在另一篇文章中有详细描述,今天我们要讨论的是,在高斯判别分析之中,特征向量x是连续的,实数域上的向量,那么如果这个特征向量...
  • qq_34206952
  • qq_34206952
  • 2017-01-12 02:03:54
  • 4970

机器学习之朴素贝叶斯模型及代码示例

一、朴素贝叶斯的推导朴素贝叶斯学习(naive Bayes)是一种有监督的学习,训练时不仅要提供训练样本的特征向量X,而且还需提供训练样本的实际标记Y,是一种基于贝叶斯定理和特征条件独立假设的分类方法...
  • cxmscb
  • cxmscb
  • 2017-04-06 15:07:22
  • 3279

基础的机器学习实例,朴素贝叶斯分类

朴素贝叶斯的基本实现
  • qq_37195257
  • qq_37195257
  • 2017-06-09 21:39:05
  • 313

机器学习实战笔记4(朴素贝叶斯)

前面介绍的kNN和决策树都给出了“该数据实例属于哪一类”这类问题的明确答案,而有时候的分类并不能给出明确的答案,本节讲解使用概率论进行分类的方法。 1:简单概念描述 概念比较简单,这里我摘抄自百度百科...
  • Lu597203933
  • Lu597203933
  • 2014-08-08 21:20:37
  • 8298

贝叶斯公式和朴素贝叶斯分类算法

在网上找了很多朴素贝叶斯分类算法的相关博客,首先感谢他们的劳动成果,我将自己认为有用的集合在一起,供以后复习和深入学习。 首先,概念基础 贝叶斯公式: 定义:...
  • u010159842
  • u010159842
  • 2015-06-17 20:44:42
  • 2222

带你彻彻底底搞懂朴素贝叶斯公式

本文参考了该博客的实例,但该博客中的朴素贝叶斯公式计算错误,评论中的也不对,所以,重新写一篇。一. 朴素贝叶斯      朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯...
  • fisherming
  • fisherming
  • 2018-03-10 17:29:50
  • 541

机器学习算法与Python实践之(八)朴素贝叶斯

 模型概述 朴素贝叶斯方法,是指朴素:特征条件独立贝叶斯:基于贝叶斯定理 根据贝叶斯定理,对一个分类问题,给定样本特征x,样本属于类别y的概率是 p(y|x)=p(x|y)p(y)p...
  • u014365862
  • u014365862
  • 2015-08-29 10:48:55
  • 1813

用PHP实现机器学习:朴素贝叶斯算法

机器学习已经在我们的生活中变得随处可见了。比如从你在家的时候温控器开始工作到智能汽车以及我们口袋中的智能手机。机器学习看上去已经无处不在并且是一个非常值得探索的领域。但是什么是机器学习呢?通常来说,机...
  • u012543061
  • u012543061
  • 2016-11-02 10:09:24
  • 1970

机器学习笔记5——朴素贝叶斯算法

针对文本分类的事件模型 支持向量机的部分前期知识
  • u010249583
  • u010249583
  • 2017-04-22 16:08:21
  • 446
收藏助手
不良信息举报
您举报文章:【机器学习】朴素贝叶斯-贝叶斯公式
举报原因:
原因补充:

(最多只允许输入30个字)