本系列记录概率论基础知识,本文介绍最基本的概率论概念。
概率与分布
条件概率与独立事件
条件概率
- 已知 A A A事件发生的条件下 B B B发生的概率,记作 P ( B ∣ A ) P(B \mid A) P(B∣A) ,它等于事件 A B AB AB的概率相对于事件 A A A的概率,即:
P ( B ∣ A ) = P ( A B ) P ( A ) P(B \mid A)=\frac{P(A B)}{P(A)} P(B∣A)=P(A)P(AB)
- 其中 P ( A ) > 0 {P(A)} > 0 P(A)>0
条件概率分布的链式法则
- 对于 n n n个随机变量 X 1 , X 2 , ⋯ , X n {X_{1}, X_{2}, \cdots, X_{n}} X1,X2,⋯,Xn ,有:
P ( X 1 , X 2 , ⋯ , X n ) = P ( X 1 ) ∏ i = 2 n P ( X i ∣ X 1 , ⋯ , X i 1 ) P\left(X_{1}, X_{2}, \cdots, X_{n}\right)=P\left(X_{1}\right) \prod_{i=2}^{n} P\left(X_{i} \mid X_{1}, \cdots, X_{i} 1\right) P(X1,X2,⋯,Xn)=P(X1)i=2∏nP(Xi∣X1,⋯,Xi1)
变量相互独立
- 两个随机变量 X , Y X,Y X,Y相互独立的数学描述:
P ( X , Y ) = P ( X ) P ( Y ) P(X, Y)=P(X) P(Y) P(X,Y)=P(X)P(Y)
变量相对独立
- 两个随机变量 X , Y X,Y X,Y关于随机变量 Z Z Z条件独立的数学描述:
P ( X , Y ∣ Z ) = P ( X ∣ Z ) P ( Y ∣ Z ) P(X, Y \mid Z)=P(X \mid Z) P(Y \mid Z) P(X,Y∣Z)=P(X∣Z)P(Y∣Z)
联合概率分布
联合分布
- 定义 X X X和 Y Y Y的联合分布为:
{% raw %}
P
(
a
,
b
)
=
P
{
X
≤
a
,
Y
≤
b
}
,
−
∞
<
a
,
b
<
+
∞
P(a, b)=P\{X \leq a, Y \leq b\}, \quad-\infty < a , b < + \infty
P(a,b)=P{X≤a,Y≤b},−∞<a,b<+∞
{% endraw %}
- X X X的分布可以从联合分布中得到:
{% raw %}
P
X
(
a
)
=
P
{
X
≤
a
}
=
P
{
X
≤
a
,
Y
≤
∞
}
=
P
(
a
,
∞
)
,
−
∞
<
a
<
+
∞
P_{X}(a)=P\{X \leq a\}=P\{X \leq a, Y \leq \infty\}=P(a, \infty), \quad-\infty < a < + \infty
PX(a)=P{X≤a}=P{X≤a,Y≤∞}=P(a,∞),−∞<a<+∞
{% endraw %}
- Y Y Y的分布可以从联合分布中得到:
{% raw %}
P
Y
(
b
)
=
P
{
Y
≤
b
}
=
P
{
X
≤
∞
,
Y
≤
b
}
=
P
(
∞
,
b
)
,
−
∞
<
b
<
+
∞
P_{Y}(b)=P\{Y \leq b\}=P\{X \leq \infty, Y \leq b\}=P(\infty, b), \quad-\infty < b < + \infty
PY(b)=P{Y≤b}=P{X≤∞,Y≤b}=P(∞,b),−∞<b<+∞
{% endraw %}
联合概率质量函数
- 当 X X X和 Y Y Y都是离散随机变量时, 定义 X X X和 Y Y Y的联合概率质量函数为:
{% raw %}
p
(
x
,
y
)
=
P
{
X
=
x
,
Y
=
y
}
p(x, y)=P\{X=x, Y=y\}
p(x,y)=P{X=x,Y=y}
{% endraw %}
- X X X和 Y Y Y的概率质量函数分布为:
p X ( x ) = ∑ y p ( x , y ) p Y ( y ) = ∑ x p ( x , y ) p_{X}(x)=\sum_{y} p(x, y) \quad p_{Y}(y)=\sum_{x} p(x, y) pX(x)=y∑p(x,y)pY(y)=x∑p(x,y)
概率密度函数
- 当 X X X和 Y Y Y联合地连续时,即存在函数 p ( x , y ) p(x,y) p(x,y) ,使得对于所有的实数集合 A \mathbb{A} A和 B \mathbb{B} B满足:
{% raw %}
P
{
X
∈
A
,
Y
∈
B
}
=
∫
B
∫
A
p
(
x
,
y
)
d
x
d
y
P\{X \in \mathbb{A}, Y \in \mathbb{B}\}=\int_{\mathbb{B}} \int_{\mathbb{A}} p(x, y) d x d y
P{X∈A,Y∈B}=∫B∫Ap(x,y)dxdy
{% endraw %}
- 则函数 p ( x , y ) p(x,y) p(x,y)称为 X X X和 Y Y Y的概率密度函数。
- X X X和 Y Y Y的联合分布为:
{% raw %}
P
(
a
,
b
)
=
P
{
X
≤
a
,
Y
≤
b
}
=
∫
−
∞
a
∫
−
∞
b
p
(
x
,
y
)
d
x
d
y
P(a, b)=P\{X \leq a, Y \leq b\}=\int_{-\infty}^{a} \int_{-\infty}^{b} p(x, y) d x d y
P(a,b)=P{X≤a,Y≤b}=∫−∞a∫−∞bp(x,y)dxdy
{% endraw %}
- X X X和 Y Y Y的分布函数:
P X ( a ) = ∫ − ∞ a ∫ − ∞ ∞ p ( x , y ) d x d y = ∫ − ∞ a p X ( x ) d x P_{X}(a)=\int_{-\infty}^{a} \int_{-\infty}^{\infty} p(x, y) d x d y=\int_{-\infty}^{a} p_{X}(x) d x PX(a)=∫−∞a∫−∞∞p(x,y)dxdy=∫−∞apX(x)dx
P Y ( b ) = ∫ ∞ ∞ ∫ ∞ b p ( x , y ) d x d y = ∫ ∞ b p Y ( y ) d y P_{Y}(b)=\int_{\infty}^{\infty} \int_{\infty}^{b} p(x, y) d x d y=\int_{\infty}^{b} p_{Y}(y) d y PY(b)=∫∞∞∫∞bp(x,y)dxdy=∫∞bpY(y)dy
- X X X和 Y Y Y的概率密度函数:
p X ( x ) = ∫ − ∞ ∞ p ( x , y ) d y p_{X}(x)=\int_{-\infty}^{\infty} p(x, y) d y pX(x)=∫−∞∞p(x,y)dy
p Y ( y ) = ∫ − ∞ ∞ p ( x , y ) d x p_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) d x pY(y)=∫−∞∞p(x,y)dx
参考资料
- http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html