朴素贝叶斯（normal bayes）及其应用（MLIA第四章）

1. 概念简介

贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。

贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1763)曾提出计算条件概率的公式用来解决如下一类问题：假设$H[1],H[2]…,H[n]$互斥且构成一个完全事件，已知它们的概率$P(H[i]),i=1,2,…,n$,现观察到某事件A与$H[1],H[2]…,H[n]$相伴随机出现，且已知条件概率$P(A|H[i])$，求$P(H[i]|A)$。

通俗理解：有一系列事件，都可能导致A出现，现在A发生了，想要是哪一个事件导致了这个结果或者某一事件导致这个结果的可能性有多大。

贝叶斯公式（发表于1763年）为：

$$P(H[i]|A)=\frac{P(H[i])P(A|H[i])}{P(H[1])P(A|H[1]) +P(H[2])P(A|H[2])+…+P(H[n])P(A|H[n])}$$

对其进行重新表示:

P(Ai|B)=P(B|Ai)P(Ai)∑nk=1P(B|Ak)P(Ak)