有意思的概率——常用概率公式和术语辨析

该系列博客旨在对概率论和统计学的相关概念和应用进行一个整体的梳理，既记录自己的学习过程，也可以为大家提供一个参考。

在上一篇博客中，我首先对概率论和统计学的一些基本概念进行了一个大概的梳理和扫盲，这些概念如果大家学过概率论和数理统计课程的话，肯定都会比较熟悉，但是仍然需要进行一个集中的阐释，毕竟基础概念才是理解更加深层次知识的基石。

这篇博客则重点汇总一下常用的概率公式和一些术语的辨析，方便大家查询和使用，有些公式的具体细节，我会在后续的博文中进行进一步的解释和说明，尽请期待！: )

概率相加公式

$$P(A+B)=P(A)+P(B)-P(AB)$$
公式描述：
概率相加公式表示事件A或事件B任一事件发生的概率（包括两者同时发生）等于A事件发生的概率+B事件发生的概率-A事件和B事件同时发生的概率。
该公式其实可以通过韦恩图就很容易推导和记忆。
扩展：
如果事件A和事件B不可能同时发生，我们称A事件和B事件为互斥事件，此时有$P(AB)=0$，则上述公式变为：
$$P(A+B)=P(A)+P(B)$$

概率相乘公式

$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$
公式描述：
概率相乘公式联系起了联合概率、边缘概率和条件概率三者之间的关系，其表示了事件A和事件B同时发生的概率等于A事件发生的概率乘以在A发生的条件下B发生的概率。
扩展：
如果事件A的发生和事件B没有任何关系，比如你抛一枚硬币和掷一个骰子出现的结果没有任何联系，此时称事件A和事件B为独立事件，则有$P(A|B)=P(A)$，则概率相乘公式变为：
$$P(AB)=P(A)P(B)$$

全概率公式

若事件$A_1，A_2，\dots A_n$构成一个完备事件组且都有正概率，则对任意一个事件B，有如下公式成立：
$$P(B)=P(B{A}_1)+P(B{A}_2)+...+P(B{A}_n)=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+...+P(B|A_n)P(A_n)$$
即：
$$P(B)=\sum _i^{n}P(B{A}_i)=\sum _i^{n}P(B|A_i)P(A_i)$$
此公式即为全概率公式。

全概率公式为概率论中的重要公式，它将对一复杂事件的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。

概率论链式法则

对于概率相乘公式进行一般化，也就得到任意多维随机变量的联合分布，也就是概率论链式法则。
对于3个事件的概率链式调用：
$$P(a,b,c)=P(a|b,c)\ast P(b,c)=P(a|b,c)\ast P(b|c)\ast P(c)$$
推广到N个事件，概率链式法则长这样：
$$P(X1,X2,...Xn)=P(X1|X2,X3...Xn)\ast P(X2|X3,X4...Xn)...P(Xn-1|Xn)\ast P(Xn)$$
链式法则主要可以用来化简一些概率公式和概率求解过程，具体例子可以参考这里

独立和条件独立

相互独立的随机变量我们可能比较清楚了，从上面的概率相乘公式中也可以得出判断随机变量相互独立的条件。

但还有一个条件独立的概念，这个概念的定义是如果$X,Y$ 在给定条件 $Z=z$ 时满足相互独立, 即
$$\forall x\in X,y\in Y,z\in Z,p(X=x,Y=y|Z=z)=p(X=x|Z=z)p(Y=y|Z=z)$$
此时我们就说随机变量 $X$和$Y$在给定随机变量$Z$时是条件独立的(conditionally independent), 简记为 $X\perp Y|Z$, 几何上可以看做给定基底$Z$时, $X,Y$是正交的。

条件独立还有另外一种表达方式，即$X$、$Y$在给定随机变量$Z$是条件独立的，如果：
$$P(X|Y,Z)=P(X|Z)$$