第1章 组合分析
1.1 计数法则
计数基本法则:有两个试验,试验1有m种可能发生的结果,而对于试验1的每一个结果,试验2有n种可能发生的结果,则对两个试验来说,一共有m*n种可能结果。
计数法则推广:一共有k个试验,第一个试验有 n1 种可能结果;对于第一个试验的每一种结果,第二个试验有 n2 种可能结果;对应于前两个试验的每一种试验结果,第三个试验有 n3 种可能结果;等等,则这r个试验一种有 n1n2…nk 种可能结果。
示例:一个句子有3个多义词,每个词都有2种不同的含义,在不考虑上下文的语义情况下,这个句子共有2*2*2=8种不同理解的方式。
1.2 排列与组合
排列计数:按任意顺序来排列n个不同元素,则所有可能的排列方法的种类
为
Pnn
组合计数:从n个不同的元素中取出m个组成一组,则所有可能的取法种类为 Cmn ,注意m个元素与顺序无关。
示例:有6个字符PPPEER进行排列,共有多少种排列方法。
首先,如果字符是不同的,比如编号为P1 P2 P3 E1 E2 R1,那么排列数为
6!
其次,如果认为相同的字符无区别,则这是一个分步组合问题,第一步,为R选择一个位置,第二步为两个E选择两个位置,第三步为3个P选择位置,因此不同方法数为
C16C25C33=60
记号: Cmn=Pmnm!=n!(n−m)!m!
1.3 多项式系数
如果 n1+n2+...+nr=n ,定义 Cn1,n2,...,nrn=n!n1!n2!...nr! ,其表示n个不同元素分成大小分别为n1,n2,…,nr的r组的方法,也称其为多项式系数。
多项式定理:
当r=2时,有二项式定理
第2章 概率公理化
2.1 样本空间与事件
假设某种实验的结果是不可预测的,但所有可能结果的集合是已知的,称所有结果的集合为此类试验的样本空间S,样本空间中任一子集E称为事件,即
E⊂S
。如果试验结果包含在E中,则称为E发生。
例如,对于抛硬币的实验,样本空间S={正面,反面},事件E={正面},E表示硬币为正面朝上
对于同一个样本空间S的任两个事件E和F,新的事件 E∪F 称为E和F的并,表示事件只要E和F中任一事件发生。
E∩F
表示E和F中事件同时发生,如果
E∩F
为空集,则称E和F是不相容的。
一个事件的补事件 记作
Ec
,表示定义在S中但不包含在E里的所有结果构成的事件。
2.2 概率论公理
古典概率:对于样本空间S里的事件E,记c为n次重复试验中事件E发生的次数,则E发生的概率
概率公理化:满足以下三条公理的P(E)称为事件E的概率
公理1:
0≤P(E)≤1
公理2:
P(E)=1
公理3:对任一系列互不相容的事件,有
2.3 若干推论
- P(Ec)=1−P(E)
- 如果 E⊂F,则P(E)≤P(F)
- P(E∪F)=P(E)+P(F)−P(EF)
-
P(E1∪E2...∪En)=∑P(Ei)+∑P(EiEj)+∑P(EiEjEk)−...+(−1)n+1P(E1E2...En)
2.4 等可能结果的样本空间
如果样本空间所有结果发生的可能性相同,因此有:
第3章 条件概率与独立事件
3.1 条件概率
条件概率定义:假定F发生的情况下E发生的概率为
P(E|F)
,如果P(F)>0,则有
P(E|F)=P(EF)P(F)
示例:抛硬币两次,两次均为正面的概率为1/4。有一次为正面条件下两次均为正面的概率为1/3
乘法规则: P(E1E2...En)=P(E1)P(E2|E1)P(E3|E1E2)...P(En|E1...En−1)
示例:假设3个词构成了一个句子S=(今天,布,下雪),为了计算这个句子的概率,可以由条件概率的乘法规则进行计算P(S)=P(今天)P(布|今天)P(下雪|今天布)。在拼音输入法,或者语音识别中,常需要计算这种句子的概率以判断哪个句子是最有可能的结果。
3.2 Bayes公式
全概公式:
全概公式说明事件E发生的概率,等于在F发生条件下E的条件概率与在F不发生条件下E发生的条件概率的加权平均,权重是作为条件的事件发生的概率。下面是由条件概率与全概率公式推导出来贝叶斯公式可。
Bayes公式
如果将公式的E看作结果,F看作导致E的各种原因,公式就是在已知结果时,计算在给定结果下,是某种原因的可能性大小。
如果将公式写为:
- P(H) 称为先验概率,即在没有数据前某一假设的概率
- P(H|D) 称为后验概率,即在补充某种数据证据后,要计算的假设的概率
- P(D|H) 称为似然度,是在假设下得到的某种统计数据
- P(D) 称为标准化常量,是无任何假设下,得到某种统计数据的概率
示例:一项医学检查有95%的概率检测出某种疾病,但也有0.1%的概率将健康人检测出得病,统计知得此病的人口占比为0.5%。若某人化验结果呈阳性,问此人确实患病的概率?
假设\类别 | 先验概率P(H) | 似然度P(D|H) | 后验概率(P(H|D)) |
---|---|---|---|
A 此人患病 | 0.005 | 0.95 | 0.95∗0.0050.95∗0.005+0.995∗0.001=0.827 |
B 此人健康 | 0.995 | 0.001 | 0.173 |
|
示例:现有5种骰子,分别为4面,6面,8面,16面,20面,现在从中选一个并抛出了点6,问哪种骰子被选中的概率最大。
P(X面的骰子)=1/5为先验概率,P(点6|X面的骰子)=1/X,为似然度,这样很容易通过上例的表格法得到P(X面的骰子|点6)最大的为6面骰子。
事件的优势:称 P(A)P(Ac)=P(A)1−P(A) 为事件A的优势,它告诉我们事件发生的可能性是不发生的可能性的倍数。
3.3 独立事件
独立定义:如果两个事件E和F,若
P(EF)=P(E)P(F)
,则称其为独立的。
也就是说
P(E|F)=P(E)
,F的发生与否,都不影响E发生的概率。
推论:如果E和F独立,则E与F的补集也独立。