中心极限定理(Central Limit Theorem,CTL),是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。。
概述
定理是数理统计学和误差分析的理论基础,指出了大量随机变量近似服从正态分布的条件。它是概率论中最重要的一类定理,有广泛的实际应用背景。在自然界与生产中,一些现象受到许多相互独立的随机因素的影响,如果每个因素所产生的影响都很微小时,总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。 ——百度百科
- 中心极限定理(CLT)指出,如果样本量足够大,则变量均值的采样分布将近似于正态分布,而与该变量在总体中的分布无关。
独立同分布
- 设随机变量 X 1 , X 2 , … , X n X_1, X_2,\dots,X_n X1,X2,…,Xn独立同分布,且具有数学期望 μ \mu μ和方差 σ 2 \sigma^2 σ2,前 n n n个变量之和为{%raw%}$\overline S = \sum\limits_{i = 1}^n {{X_i}} \${%endraw%}
- 那么 S ‾ n \overline S_n Sn的期望和方差为 n μ n\mu nμ和 n σ 2 n\sigma^2 nσ2, S ‾ n \overline S_n Sn的标准化变量为:
Y n = S ‾ n − n μ n σ Y_n=\frac{\overline S_n - n\mu}{\sqrt n\sigma} Yn=nσSn−nμ
定义
- 中心极限定理的内容为: Y n Y_n Yn的概率分布函数 F n ( x ) F_n(x) Fn(x)对于任意 x x x满足:
{%raw%}
lim
n
→
∞
F
n
(
x
)
=
lim
n
→
∞
P
{
Y
n
≤
x
}
=
lim
n
→
∞
P
{
∑
k
=
1
n
X
k
−
n
μ
n
σ
≤
x
}
=
∫
−
∞
x
1
2
π
e
−
t
2
/
2
d
t
=
Φ
(
x
)
\begin{array}{c} \lim _{n \rightarrow \infty} F_{n}(x)=\lim \limits_{n \rightarrow \infty} P\left\{Y_{n} \leq x\right\}=\lim \limits_{n \rightarrow \infty} P\left\{\frac{\sum_{k=1}^{n} X_{k}-n \mu}{\sqrt{n} \sigma} \leq x\right\} \\ =\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x) \end{array}
limn→∞Fn(x)=n→∞limP{Yn≤x}=n→∞limP{nσ∑k=1nXk−nμ≤x}=∫−∞x2π1e−t2/2dt=Φ(x)
{%endraw%}
证明
通过观察某个分布的采样均值可以发现近似服从正态分布,我们的目标就是证明这个变量与正态分布的特征函数相同
- 引入一些特征函数的结论
- 正态分布的特征函数:
{%raw%}
φ
(
t
)
=
e
−
t
2
2
{\varphi (t)}{ = {e^{ - \frac{{{t^2}}}{2}}}}
φ(t)=e−2t2
{%endraw%}
- 随机变量 X i X_i Xi的特征函数用 φ x ( t ) {\varphi_x (t)} φx(t)表示
- S ‾ n \overline S_n Sn的特征函数为:
{%raw%}
φ
S
n
(
t
)
=
[
φ
x
(
t
)
]
n
{\varphi_{S_n} (t)}=[{\varphi_x (t)}]^n
φSn(t)=[φx(t)]n
{%endraw%}
- X i X_i Xi均值 X ‾ = 1 n S n ‾ \overline X=\frac{1}{n}\overline {S_n} X=n1Sn的特征函数:
{%raw%}
φ
X
‾
(
t
)
=
φ
S
n
(
t
n
)
=
[
φ
x
(
t
n
)
]
n
{\varphi_{\overline X} (t)}={\varphi_{S_n} (\frac{t}{n})}=[{\varphi_x (\frac{t}{n})}]^n
φX(t)=φSn(nt)=[φx(nt)]n
{%endraw%}
- {%raw%} Y n = S ‾ n − n μ n σ = X ‾ − μ σ n = n σ X ‾ − n σ μ Y_n=\frac{\overline S_n - n\mu}{\sqrt n\sigma}=\frac{\overline X - \mu}{\frac{\sigma}{\sqrt n}}=\frac{\sqrt n}{\sigma}\overline X - \frac{\sqrt n}{\sigma} \mu Yn=nσSn−nμ=nσX−μ=σnX−σnμ {%endraw%}的特征函数:
{%raw%}
φ
y
(
t
)
=
e
i
(
−
n
σ
μ
)
t
⋅
φ
x
ˉ
(
n
σ
t
)
=
e
i
(
−
n
σ
μ
)
t
⋅
[
φ
x
(
t
σ
n
)
]
n
\varphi_{y}(t)=e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot \varphi_{\bar{x}}\left(\frac{\sqrt{n}}{\sigma} t\right)=e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot\left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n}
φy(t)=ei(−σnμ)t⋅φxˉ(σnt)=ei(−σnμ)t⋅[φx(σnt)]n
{%endraw%}
思路1
- 取对数:
{%raw%}
$$
\begin{aligned}
\ln \varphi_{y}(t)&=\ln \left{e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot\left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n}\right}\
&=-i \frac{\sqrt{n}}{\sigma} \mu t+n \ln \left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]\
&=\frac{-i \mu \frac{t}{\sigma \sqrt{n}}+\ln \left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]}{\frac{1}{n}}\
\end{aligned}
$$
{%endraw%}
- 令 p = t σ n p=\frac{t}{\sigma \sqrt{n}} p=σnt, 当 $ n \rightarrow \infty $ 时, $ p \rightarrow 0$ 又 :
{%raw%}
$$
\begin{aligned}
&\varphi_{x}(0)=\int_{-\infty}^{\infty} f(x) d x=1\
&\varphi_{x}{\prime}(0)=\int_{-\infty}{\infty} i x f(x) d x=i \mu\
&\varphi_{x}^{\prime \prime}(0)=\int_{-\infty}{\infty}-x{2} f(x) d x=-E\left(X{2}\right)=-\mu{2}-\sigma^{2}\
\end{aligned}
$$
{%endraw%}
- 有 :
{%raw%}
$$
\begin{aligned}
\lim {n \rightarrow \infty} \ln \varphi{y}(t)&=\lim {n \rightarrow \infty} \frac{-i \mu \frac{t}{\sigma \sqrt{n}}+\ln \left[\varphi{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]}{\frac{1}{n}}\
&=\frac{t{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{-i \mu p+\ln \left[\varphi{x}§\right]}{p^{2}} \quad(\text { 洛必达) }\
&=\frac{t{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{-i \mu+\frac{1}{\varphi{x}§} \cdot \varphi_{x}^{\prime}§}{2 p} \quad(\text { 洛必达 })\
&=\frac{t{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{\varphi{x}^{\prime \prime}§ \cdot \varphi_{x}§-\varphi_{x}^{\prime}§ \cdot \varphi_{x}{\prime}§}{2\left[\varphi_{x}§\right]{2}}\
&=\frac{t{2}}{\sigma{2}} \cdot \frac{\varphi_{x}^{\prime \prime}(0) \cdot \varphi_{x}(0)-\varphi_{x}^{\prime}(0) \cdot \varphi_{x}{\prime}(0)}{2\left[\varphi_{x}(0)\right]{2}}\
&=\frac{t{2}}{\sigma{2}} \cdot \frac{\left(-\mu{2}-\sigma{2}\right) \cdot 1-i \mu \cdot i \mu}{2 \cdot 1}\
&=-\frac{t^{2}}{2}
\end{aligned}
$$
{%endraw%}
思路2
{%raw%}
Y
n
=
n
X
ˉ
−
μ
σ
n
=
∑
i
=
1
n
η
i
σ
n
η
i
=
X
i
−
μ
φ
(
t
)
=
E
(
e
i
t
Y
n
)
=
E
(
e
i
t
η
1
σ
n
⋅
e
i
t
η
2
σ
n
⋅
…
⋅
e
i
t
η
n
σ
n
)
=
[
ϕ
(
t
σ
n
)
]
n
\begin{array}{l} Y_{n}=\frac{n \bar{X}-\mu}{\sigma \sqrt{n}}=\frac{\sum_{i=1}^{n} \eta_{i}}{\sigma \sqrt{n}} \\\quad \eta_{i}=X_{i}-\mu \\ \varphi(t)=E\left(e^{i t Y_{n}}\right)=E\left(e^{i t \frac{\eta_{1}}{\sigma \sqrt{n}}} \cdot e^{i t \frac{\eta_{2}}{\sigma \sqrt{n}}} \cdot \ldots \cdot e^{i t \frac{\eta_{n}}{\sigma \sqrt{n}}}\right)=\left[\phi\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n} \end{array}
Yn=σnnXˉ−μ=σn∑i=1nηiηi=Xi−μφ(t)=E(eitYn)=E(eitσnη1⋅eitσnη2⋅…⋅eitσnηn)=[ϕ(σnt)]n
{%endraw%}
- ϕ ( t ) \phi(t) ϕ(t) 为 η i \eta_{i} ηi 的特征函数
- ϕ ( t σ n ) \phi\left(\frac{t}{\sigma \sqrt{n}}\right) ϕ(σnt) 在0点处的泰勒展开形式为:
{%raw%}
ϕ
(
t
σ
n
)
=
ϕ
(
0
)
+
ϕ
′
(
0
)
t
σ
n
+
ϕ
′
′
(
0
)
2
!
(
t
σ
n
)
2
+
o
(
(
t
σ
n
)
2
)
=
1
+
0
−
t
2
2
n
+
o
(
(
t
σ
n
)
2
)
\begin{aligned} \phi\left(\frac{t}{\sigma \sqrt{n}}\right)=\phi(0) &+\phi^{\prime}(0) \frac{t}{\sigma \sqrt{n}}+\frac{\phi^{\prime \prime}(0)}{2 !}\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right) \\ &=1+0-\frac{t^{2}}{2 n}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right) \end{aligned}
ϕ(σnt)=ϕ(0)+ϕ′(0)σnt+2!ϕ′′(0)(σnt)2+o((σnt)2)=1+0−2nt2+o((σnt)2)
{%endraw%}
- 所以, φ ( t ) \varphi(t) φ(t) 为:
{%raw%}
φ
(
t
)
=
(
1
−
t
2
2
n
+
o
(
(
t
σ
n
)
2
)
)
(
−
2
n
t
2
)
×
(
−
t
2
2
)
=
e
−
t
2
2
,
n
→
+
∞
\varphi(t)=\left(1-\frac{t^{2}}{2 n}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right)\right)^{\left(-\frac{2 n}{t^{2}}\right) \times\left(-\frac{t^{2}}{2}\right)}=e^{-\frac{t^{2}}{2}}, n \rightarrow+\infty
φ(t)=(1−2nt2+o((σnt)2))(−t22n)×(−2t2)=e−2t2,n→+∞
{%endraw%}
都得出结论
- 即有:
{%raw%}
lim
n
→
∞
φ
y
(
t
)
=
e
−
t
2
2
\lim _{n \rightarrow \infty} \varphi_{y}(t)={e^{ - \frac{{{t^2}}}{2}}}
n→∞limφy(t)=e−2t2
{%endraw%}
- Y n Y_n Yn特征函数与正态分布相同,故有当$ n \rightarrow \infty 时 , 时, 时,Y_n$服从正态分布的结论
应用思路
- 均值方差为 μ \mu μ和 σ 2 \sigma^2 σ2,的独立同分布的随机变量 X i X_i Xi前 n n n项之和 S ‾ n \overline S_n Sn的标准变化量 Y n Y_n Yn,当 n n n充分大时,其分布近似于标准正态分布
- 即在 n n n充分大时, S ‾ n \overline S_n Sn分布近似于 N ( n μ , n σ 2 ) N(n\mu,n\sigma^2) N(nμ,nσ2)
- 一般情况下,很难求出 n n n个随机变量之和的分布函数。因此当 n n n充分大时,可以通过正态分布来做理论上的分析或者计算
独立不同分布
-
Liapunov
定理:设随机变量 X 1 , X 2 , ⋯ , X n , ⋯ X_{1}, X_{2}, \cdots, X_{n}, \cdots X1,X2,⋯,Xn,⋯ 相互独立, 具有数学期望和方差:
E [ X k ] = μ k , Var [ X k ] = σ k 2 \mathbb{E}\left[X_{k}\right]=\mu_{k}, \operatorname{Var}\left[X_{k}\right]=\sigma_{k}^{2} E[Xk]=μk,Var[Xk]=σk2 -
记: B n 2 = ∑ k = 1 n σ k 2 B_{n}^{2}=\sum_{k=1}^{n} \sigma_{k}^{2} Bn2=∑k=1nσk2 若存在正数 δ , \delta, δ, 使得当 n → ∞ n \rightarrow \infty n→∞ 时,有:
{%raw%}
1 B n 2 + δ ∑ k = 1 n E [ ∣ X k − μ k ∣ 2 + δ ] → 0 \frac{1}{B_{n}^{2+\delta}} \sum_{k=1}^{n} \mathbb{E}\left[\left|X_{k}-\mu_{k}\right|^{2+\delta}\right] \rightarrow 0 Bn2+δ1k=1∑nE[∣Xk−μk∣2+δ]→0
{%endraw%}
- 则随机变量之和 S X n ‾ = ∑ k = 1 n X k \overline{S X_{n}}=\sum_{k=1}^{n} X_{k} SXn=∑k=1nXk 的标准变化量:
{%raw%}
Z
n
=
S
X
n
‾
−
E
[
S
X
n
‾
]
Var
[
S
X
n
‾
]
=
S
X
n
‾
−
∑
k
=
1
n
μ
k
B
n
Z_{n}=\frac{\overline{S X_{n}}-\mathbb{E}\left[\overline{S X_{n}}\right]}{\sqrt{\operatorname{Var}\left[\overline{S X_{n}}\right]}}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}}
Zn=Var[SXn]SXn−E[SXn]=BnSXn−∑k=1nμk
{%endraw%}
- 概率分布函数 F n ( x ) F_{n}(x) Fn(x) 对于任意 x x x 满足:
{%raw%}
lim
n
→
∞
F
n
(
x
)
=
lim
n
→
∞
P
{
Z
n
≤
x
}
=
lim
n
→
∞
P
{
∑
k
=
1
n
X
k
−
∑
k
=
1
n
μ
k
B
n
≤
x
}
=
∫
−
∞
x
1
2
π
e
−
t
2
/
2
d
t
=
Φ
(
x
)
\begin{array}{c} \lim _{n \rightarrow \infty} F_{n}(x)=\lim _{n \rightarrow \infty} P\left\{Z_{n} \leq x\right\}=\lim _{n \rightarrow \infty} P\left\{\frac{\sum_{k=1}^{n} X_{k}-\sum_{k=1}^{n} \mu_{k}}{B_{n}} \leq x\right\} \\ =\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x) \end{array}
limn→∞Fn(x)=limn→∞P{Zn≤x}=limn→∞P{Bn∑k=1nXk−∑k=1nμk≤x}=∫−∞x2π1e−t2/2dt=Φ(x)
{%endraw%}
-
其物理意义为:
相互独立的随机变量 X 1 , X 2 , ⋯ , X n , ⋯ X_{1}, X_{2}, \cdots, X_{n}, \cdots X1,X2,⋯,Xn,⋯ 之和 S X n ‾ = ∑ k = 1 n X k \overline{S X_{n}}=\sum_{k=1}^{n} X_{k} SXn=∑k=1nXk 的衍生随机变量序列 Z n = S X n ‾ − ∑ k = 1 n μ k B n , Z_{n}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}}, Zn=BnSXn−∑k=1nμk, 当 n n n 充分大时, 其分布近似与标准正态分布。
-
这里并不要求 X 1 , X 2 , ⋯ , X n , ⋯ X_{1}, X_{2}, \cdots, X_{n}, \cdots X1,X2,⋯,Xn,⋯ 同分布。
棣莫佛-拉普拉斯定理
Demoiver-Laplace
定理:设随机变量序列 η n , n = 1 , 2 , … \eta_{n}, n=1,2, \ldots ηn,n=1,2,… 服从参数为 ( n , p ) (n, p) (n,p) 的二项分布,其中 0 < p < 1 0<p<1 0<p<1 则对于任意 x x x, 有:
{%raw%}
lim
n
→
∞
P
{
η
n
−
n
p
n
p
(
1
−
p
)
≤
x
}
=
∫
−
∞
x
1
2
π
e
−
t
2
∣
2
d
t
=
Φ
(
x
)
\lim _{n \rightarrow \infty} P\left\{\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} \mid 2} d t=\Phi(x)
n→∞limP{np(1−p)ηn−np≤x}=∫−∞x2π1e−t2∣2dt=Φ(x)
{%endraw%}
- 该定理表明, 正态分布是二项分布的极限分布。当 n n n 充分大时,可以利用正态分布来计算二项分布的概率。
参考资料
-
https://baike.baidu.com/item/%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86/829451?fr=aladdin
-
https://baijiahao.baidu.com/s?id=1665261046335447411&wfr=spider&for=pc
-
http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html
-
https://www.zhihu.com/question/25956080/answer/1375064657
-
https://zhuanlan.zhihu.com/p/93738110