概率论基础 - 6 - 切比雪夫不等式

切比雪夫不等式可以使人们在随机变量X的分布未知的情况下，对事件$|X-\mu|<\varepsilon $ 概率作出估计。

定义

• 假设随机变量$X$具有期望$E(X)=\mu$， 方差 $Var(X)={\sigma }^2$，则对于任意正数$\epsilon$ ，有不等式成立：

P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 \mathbb P\{|X-\mu| \geq \varepsilon\} \leq \frac{\sigma^{2}}{\varepsilon^{2}} P{∣X−μ∣≥ε}≤ε2σ2​

含义

• 其意义是：对于距离$E(X)$足够远的地方（距离大于等于$\epsilon$），事件出现的概率是小于等于$\frac{{\sigma }^2}{{\epsilon }^2}$ 。即事件出现在区间$[\mu -\epsilon ,\mu +\epsilon ]$ 的概率大于$1-\frac{{\sigma }^2}{{\epsilon }^2}$

• 该不等式给出了随机变量$X$在分布未知的情况下， 事件$|X-\mu |\le \epsilon$ 的下限估计

  例如：

  P { ∣ X − μ ∣   < 3 σ } ≥ 1 − 1 9 = 8 9 \mathbb P\{|X-\mu|\ < 3 \sigma \} \ge 1-\frac{1}{9}=\frac{8}{9} P{∣X−μ∣ <3σ}≥1−91​=98​

• 切比雪夫不等式刻画了变量偏离均值的程度与发生概率大小之间的关系

• 在随机变量分布未知的情况下，我们只知道均值和方差，切比雪夫不等式给出了$X$落入以均值为中心的$\epsilon$邻域概率的概率下界

证明

思路1

利用取值范围建立不等式

{%raw%}
P { ∣ X − μ ∣ ≥ ε } = ∫ ∣ x − μ ∣ ≥ ε p ( x ) d x ≤ ∫ ∣ x − μ ∣ ≥ ε ∣ x − μ ∣ 2 ε 2 p ( x ) d x ≤ 1 ε 2 ∫ − ∞ ∞ ( x − μ ) 2 p ( x ) d x = σ 2 ε 2 \begin{aligned} \mathbb P\{|X-\mu| \geq \varepsilon\} &=\int_{|x-\mu| \geq \varepsilon} p(x) d x \\ &\leq \int_{|x-\mu| \geq \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}} p(x) d x \\ & \leq \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) d x\\ &=\frac{\sigma^{2}}{\varepsilon^{2}} \end{aligned} P{∣X−μ∣≥ε}​=∫∣x−μ∣≥ε​p(x)dx≤∫∣x−μ∣≥ε​ε2∣x−μ∣2​p(x)dx≤ε21​∫−∞∞​(x−μ)2p(x)dx=ε2σ2​​

{%endraw%}

思路2

利用马尔可夫不等式

$$\mathbb{P}(X\ge a)\le \frac{\mathbb{E}(X)}{a}$$

• 将$|X-\mu |$作为随机变量带入不等式，有：

$$\mathbb{P}(|X-\mu |\ge \epsilon )\le \frac{E(|X-\mu |)}{\epsilon }$$

• 其中$\epsilon >0$，而：

$$\mathbb{P}(|X-\mu |\ge \epsilon )=\mathbb{P}(|X-\mu {|}^2\ge {\epsilon }^2)$$

• 再次套用马尔可夫不等式：

$$\mathbb{P}(|X-\mu |\ge \epsilon )=\mathbb{P}(|X-\mu {|}^2\ge {\epsilon }^2)\le \frac{E(|X-\mu {|}^2)}{{\epsilon }^2}=\frac{{\sigma }^2}{{\epsilon }^2}$$

推论——切比雪夫定理

• 对于相互独立具有相同期望和方差的随机变量$X_i$，$\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} $的方差为：

{%raw%}
$$\frac{Var(X)}{n}=\frac{{\sigma }^2}{n}$$

{%endraw%}

• 那么当 $n \to \infty $时，$\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} $的方差$\to 0 $，对于任意给定的$\varepsilon > 0$，根据切比雪夫不等式有：

{%raw%}
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-E\left(X_i\right)\right|<\epsilon \right\}=1$$

{%endraw%}

• 即当样本个数趋于无穷时，样本的算数平均值会收敛于理论均值

参考资料

• https://baike.baidu.com/item/%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E5%AE%9A%E7%90%86/3647561?fromtitle=%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E4%B8%8D%E7%AD%89%E5%BC%8F&fromid=8709330&fr=aladdin
• http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html
• https://blog.csdn.net/ukakasu/article/details/82688413