概率论与数理统计核心概念和理论

求取随机变量的函数的分布

例 已知连续型随机变量$X$的概率密度分布如下
$$f(x)=\{\begin{array}{ll}\frac{x}{8}& \text{0}<x<4\\ 0& \text{o}ther\end{array}$$
求$Y=2X+8$的概率密度分布。

  此题是浙江大学概率论与数理统计例题原题。编者上来就让求$XY$的概率，完全没给任何原因。所以一个问题如果看书看不懂，并不一定是自己没有认真读，而是编者漏了一些重要内容(或者说直接一点，编者不行)。
  对于这个问题，我们可以先考虑离散型随机变量的函数是怎么求的。离散型随机变量的函数的分布是直接根据$X$求$Y$，然后直接进行简单合并就行了。例如
$X$的概率密度分布如下：

X	-1	0	1	2
p	0.1	0.2	0.3	0.4

则容易求得$Y=(X-1{)}^2$概率密度

Y	0	1	4
p	0.3	0.6	0.1

其中因为 X ∈ { 0 , 2 } X \in\{{0,2}\} X∈{0,2}时，$Y$都为1,所以1这种情况进行了合并。
  借鉴离散型变量的求解方案，我们可以求解连续型随机变量函数的分布。假设$f(x)$和$g(y)$分别是$x$和$y$的概率密度函数，我们先考虑$y=h(x)$的反函数$x=h^{-1}(y)$的导数为正的情况：对任意$x$，都存在任意小的$\Delta x$，使得
$${\int }_x^{x+\Delta x}f(x)dx={\int }_y^{y+\Delta y}g(y)dy\text{\hspace{1em}(1-1)}$$
这就好比把一个连续性随机变量的分布切成了无穷多个离散型随机变量的分布。两边对$x$求导得到(因为已经假设了$\Delta x$为无穷小，所以求导之后就是积分公式里面的函数)
$$f(x)=g(y)\left|\frac{dy}{dx}\right|=g(y)y^{\prime }(x)$$
对于$h(x)$和$h^{-1}(y)$的导数为负的情况，$1-1$式应该改写为
$$\begin{array}{rl}{\int }_x^{x+\Delta x}f(x)dx& ={\int }_{y+\Delta y}^{y}g(y)dy\\ & =-{\int }_y^{y+\Delta y}g(y)dy\end{array}\text{\hspace{1em}(1-2)}$$
有这个差异的原因是当$h(x)$导数为负时，如果$\Delta x>0$，则$\Delta y<0$，需要交换积分上下限最终才是一个正的概率，也即小矩形的面积。
综上可以得到
$$g(y)=\frac{f(x)}{h^{\prime }(x)}=\frac{f(h^{-1}(y))}{\left|h^{\prime }(h^{-1}(y))\right|}$$

期望和方差

我们先来看统计中的均值和方差。这里有必要说下概率和统计的区别。概率是已知一个模型或者说事件的数学表达，推导事件出现的概率。统计则是已知事件出现的频率，推导出模型或者说事件的数学表达。两者正好是相反的过程。统计中的均值和方差，对应的是概率中的期望和方差。
已知一组样本$x_1,x_2...x_n$(已知事件)，求均值和方差。显而易见
$$\begin{gathered} E(X)=\frac{1}{n}\sum _{i=1}^{i=n}{x}_i \\ D(X)=\frac{1}{n}\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2 \end{gathered}$$
为了让统计学中的均值和方差表达式和概率中的期望和方差更加一致，我们更换一个描述。
已知一组样本$x_i$和其出现的频次$n_i$，求均值和方差。仍然显而易见
$$E(X)=\frac{1}{\sum _{i=1}^{i=n}{n}_i}\sum _{i=1}^{i=n}{x}_i{n}_i=\frac{1}{N}\sum _{i=1}^{i=n}{x}_i{n}_i\text{\hspace{1em}(2-1)}$$$$\begin{gathered} D(X)=\frac{1}{\sum _{i=1}^{i=n}{n}_i}\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2{n}_i \\ =\frac{1}{N}\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2\ast n_i\text{\hspace{1em}(2-2)} \end{gathered}$$
如果改成用频次来描述。已知一组样本$x_i$和其出现的频次$f_i$，求其均值和方差，只需要对2-1和2-2做简单变换即可得到
$$\begin{gathered} E(X)=\sum _{i=1}^{i=n}{x}_i{f}_i \\ D(X)=\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2{f}_i \end{gathered}$$
好的，回到主题，概率论里的期望和方差，容易得到类似描述。先看离散型。
已知事件$X=x_i$和其发生的概率$p_i$，求期望和方差。
$$\begin{array}{rl}E(X)& =\sum _{i=1}^{i=n}{x}_i{p}_i\\ D(X)& =\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2{p}_i\end{array}$$
几乎是直接搬过来的。
方差和期望有个著名的公式，我们推导一下
$$\begin{array}{rl}D(X)& =\sum _{i=1}^{i=n}(x_i-\bar{x}{)}^2{p}_i\\ & =\sum _{i=1}^{i=n}{x}_i^2{p}_i-2\bar{x}\sum _{i=1}^{i=n}{x}_i{p}_i+{\bar{x}}^2\sum _{i=1}^{i=n}{p}_i\\ & =\sum _{i=1}^{i=n}{x}_i^2{p}_i-2\bar{x}\ast \bar{x}+{\bar{x}}^2\ast 1\\ & =E(x_i^2)-E(x_i{)}^2\end{array}$$
连续型随机变量有类似的公式和推导，这里只给出结果。
$$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)dx\\ D(X)& ={\int }_{-\infty }^{+\infty }(x-E(x){)}^{2}f(x)dx\\ & =E(x^2)-E(x{)}^2\end{array}$$

大数定理和中心极限定理

弱大数定理(辛钦大数定理)

设$X_1,X_2...X_n$是相互独立的服从同分布的变量序列，具有数学期望$E(X_k)=\mu (k=1,2,...)$，求前$n$个变量的算术平均值$\frac{1}{n}\sum _{k=1}^n{X}_k$，对于任意小的$ϵ>0$，都有
lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ } = 1 \lim_{n\to\infin}P\{\left|\frac 1 n\sum_{k=1}^nX_k-\mu\right|<\epsilon\}=1 n→∞lim​P{ ​n1​k=1∑n​Xk​−μ ​<ϵ}=1

翻译成通俗易懂的人话就是：我们的样本只要足够大，样本的均值就能无限接近总体的数学期望。

伯努利大数定理

设$f_A$是$n$次独立重复试验中事件A发生的次数，$p$是事件A在每次试验中发生的概率，对于任意小的$ϵ>0$，都有
lim ⁡ n → ∞ P { ∣ f A n − p ∣ < ϵ } = 1 \lim_{n\rarr\infty}P\{\left|\frac {f_A} n-p\right|<\epsilon\}=1 n→∞lim​P{ ​nfA​​−p ​<ϵ}=1

同样翻译成通俗易懂的人话就是：对于一个事件$A$，试验的次数只要足够多，则事件$A$在样本中出现的频率就能无限接近事件$A$发生的概率

中心极限定理(独立同分布的中心极限定理)

设$X_1,X_2...X_n$是相互独立的服从同分布的变量，具有数学期望和方差：$E(X_k)=\mu ，D(X_k)={\sigma }^2>0(k=1,2,...)$，则随机变量之和$\sum _{k=1}^n{X}_k$的标准化变量
$$\begin{array}{r}{Y}_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\end{array}$$
的分布函数$F_n(x)$对于任意$x$满足
$$\begin{array}{rl}\underset{n\to \infty }{\lim }{F}_n(x)& =\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\right\}\\ & ={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt\\ & =\Phi (x)\end{array}$$

翻译成通俗易懂的人话：均值为$\mu$，方差为${\sigma }^2>0$的独立同分布随机变量$X_1,X_2...X_n$之和$\sum _{k=1}^n{X}_k$的标准化随机变量，当$n$充分大的时候满足$\mu =0,{\sigma }^2=1$的正态分布。
$$\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\underset{\sim }{\mathrm{approximate}}N(0,1)$$
可以再做个简单变换，得到$n\to \infty$时
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)，或\bar{X}\sim N(\mu ,{\sigma }^2/n)$$

李雅普诺夫(Lyapunov)定理

设$X_1,X_2...X_n$是相互独立的随机变量，具有数学期望和方差：$E(X_k)={\mu }_k，D(X_k)={\sigma }_k^2>0(k=1,2,...)$，记$B_n^2={\sum }_{k=1}^n{\sigma }_k^2$，若存在正数$\delta$，使得当$n\to \infty$时，
$$\frac{1}{B_n^{2+\delta }}\sum _{k=1}^{n}E|X_k-{\mu }_k{|}^{2+\delta }\to 0$$
则随机变量之和$\sum _{k=1}^n{X}_k$的标准化变量
$$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$$
的分布函数$F_n(x)$对于任意$x$满足
$$\begin{array}{rl}\underset{n\to \infty }{\lim }{F}_n(x)& =\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}\le x\right\}\\ & ={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt\\ & =\Phi (x)\end{array}$$

李雅普诺夫定理和独立同分布的中心极限定理的区别就是去掉了同分布的限制，引入了一个辅助函数$B_n$。即当$n$很大时，$Z_n$近似服从N(0,1)

棣莫佛-拉普拉斯(De Moivre-Laplace)定理

设随机变量${\eta }_n(n=1,2,...)$服从参数为$n,p(0<p<1)$的二项分布，对于任意$x$，有
$$\begin{gathered} \underset{n\to \infty }{\lim }\left\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\right\} \\ ={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\text{\hspace{1em}(3-1)} \end{gathered}$$

实际上这个定理是独立同分布中心极限定理的特例，好像没啥用？正态分布是二项分布的极限分布，当n充分大的时候，可以使用公式3-1来计算二项分布的概率。当只计算某个事件出现概率的时候，这个公式用处不大，但是计算某个范围的时候，就很有用。举个例子，一个盒子里有3个红球和7个白球，有放回的取10000次，请问取出红球的次数为200-1000次之间的概率是多少？当然我们可以有一个精确地结果
P { 200 ≤ X ≤ 1000 } = ∑ i = 200 1000 ( i 10000 0. 3 i 0. 7 10000 − i ) P\{200\le X\le 1000\}=\sum_{i=200}^{1000}\left(\underset {10000}i0.3^i0.7^{10000-i}\right) P{200≤X≤1000}=i=200∑1000​(10000i​0.3i0.710000−i)
但是实际上可以根据$\Phi (x)$函数来求解，就容易的多了。

小结

这里总结下大数定理和中心极限定理描述的问题的差异。
大数定理关注的是在试验序列中，单个事件的概率问题；中心极限定理关注的是本次试验的统计特征。如果转换成假设检验会更容易理解一点：大数定理关心的是单个样本(单个样本可能包含多次试验结果)中，随着样本的增大，样本中某个事件的频次会更加接近事件发生的概率本身；中心极限定理关心的是多个样本(每个样本都包含多个试验结果)的均值、方差和总体的期望、方差之间的关系。

样本估计

设$X$是具有分布函数$F$的随机变量，若$X_1,X_2,...X_n$是具有同样分布函数$F$的、相互独立的随机变量，则称$X_1,X_2,...X_n$为分布函数$F$(或总体$F$，或总体$X$)得到的容量为$n$的简单随机样本，简称样本，他们的观察值$x_1,x_2,...x_n$称为样本值，又称为$X$的$n$个独立观察值。因为$X_1,X_2,...X_n$相互独立，且分布函数都是$F$，所以$(X_1,X_2,...X_n)$的分布函数为
$$F(x_1,x_2,...x_n)=\prod _{i=1}^{n}F(x_i)$$
$(X_1,X_2,...X_n)$的概率密度函数为
$$f(x_1,x_2,...x_n)=\prod _{i=1}^{n}f(x_i)$$

概率分布函数的表达式实际上也是最大似然估计的理论基础。

设$X_1,X_2,...X_n$是来自总体$X$的一个样本，$g(X_1,X_2,...X_n)$是$X_1,X_2,...X_n$的函数，若$g$中不含未知参数，则成$g(X_1,X_2,...X_n)$是一个统计量。

${\chi }^2$分布，$t$分布$F$分布被称为统计学三大分布，但是一个都没弄懂，怎么办？

附录

切比雪夫不等式

设随机变量$X$具有数学期望$E(X)=\mu$和方差$D(X)={\sigma }^2$，则对于任意正数$ϵ$，不等式成立
P { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 P\{|X-\mu|\ge\epsilon\}\le\frac{\sigma^2}{\epsilon^2} P{∣X−μ∣≥ϵ}≤ϵ2σ2​
以连续型随机变量为例
P { ∣ x − μ ∣ ≥ ϵ } = ∫ ∣ x − μ ∣ ≥ ϵ f ( x ) d x ≤ ∫ ∣ x − μ ∣ ≥ ϵ ∣ x − μ ∣ 2 ϵ 2 f ( x ) d x ( 因为 ∣ x − μ ∣ ≥ ϵ ) = 1 ϵ 2 ∫ ∣ x − μ ∣ ≥ ϵ ( x − μ ) 2 f ( x ) d x ≤ 1 ϵ 2 ∫ − ∞ + ∞ f ( x ) d x ( 扩展积分上下限后，右式恰为方差 ) = σ 2 ϵ 2 \def\irange{{|x-\mu|\ge\epsilon}} \begin{aligned} P\{\irange\}&=\int_{\irange}f(x)dx\\ &\le\int_{\irange}\frac{|x-\mu|^2}{\epsilon^2}f(x)dx \quad\quad (因为|x-\mu|\ge\epsilon)\\ &=\frac1{\epsilon^2}\int_\irange(x-\mu)^2f(x)dx\quad\quad \\ &\le \frac1{\epsilon^2}\int_{-\infty}^{+\infin}f(x)dx\quad\quad (扩展积分上下限后，右式恰为方差)\\ &=\frac{\sigma^2}{\epsilon^2} \end{aligned} P{∣x−μ∣≥ϵ}​=∫∣x−μ∣≥ϵ​f(x)dx≤∫∣x−μ∣≥ϵ​ϵ2∣x−μ∣2​f(x)dx(因为∣x−μ∣≥ϵ)=ϵ21​∫∣x−μ∣≥ϵ​(x−μ)2f(x)dx≤ϵ21​∫−∞+∞​f(x)dx(扩展积分上下限后，右式恰为方差)=ϵ2σ2​​