正交-不相关-独立

最新推荐文章于 2023-07-15 22:30:21 发布

苍蓝儿

最新推荐文章于 2023-07-15 22:30:21 发布

阅读量5.3k

点赞数 3

分类专栏：概率论文章标签：概率论线性代数

本文链接：https://blog.csdn.net/zywvvd/article/details/115261526

版权

概率论专栏收录该内容

11 篇文章 4 订阅

订阅专栏

本文介绍随机变量中正交、不相关、独立的区别和联系。

概述

三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。

考察 $m$ 维随机变量 $X, Y$ 之间的关系。

定义

正交

定义 $R (X, Y) = E [X Y]$ 为相关函数：若 $R (X, Y) = 0$ ，称 $X, Y$ 正交

不相关

定义 $E [X Y] = E [X] E [Y]$ ，则 $X, Y$ 不相关

$X, Y$ 的协方差：

$C o v (X, Y) = E [X Y] - E [X] E [Y]$

不相关也可以用协方差为0表示

$X, Y$ 的相关系数：

$Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}}$

不相关也可以用相关系数为0表示

独立

独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积，则称为独立：

$p (X, Y) = p (X) p (Y)$

关系

独立 -> 不相关

独立是对变量更严苛的要求，如果两个随机变量独立，则必定不相关，也就是说独立是不相关的充分不必要条件。

若已知 $X, Y$ 联合概率密度 $f (x, y)$ 等于二者边缘密度函数 $g (x), h (y)$ 的乘积，则有：

{% raw %}
$(X,Y)=\iint x y f(x, y) d x d y=\iint x y g(x) h(y) d x d y=\int x g(x) d x \int y h(y) d y=E (X) E(Y)$

{% endraw %}

因此独立变量不相关，而相反不相关无法直接推导出独立

不相关 --高斯分布–> 独立

在随机变量服从高斯分布时，不相关可以推导出独立：

我们此时考虑稍复杂一些的情况， $X$ 为 $n$ 维随机变量：

$X^T=[x_1,x_2,...,x_n]$

随机变量之间两两不相关，并且服从高斯分布：

$Cov(x_i,x_j)=0,i \ne j$

$x_i \sim N\left(\mu_i, \sigma_i^{2}\right)$

那么此时 $X$ 的联合概率密度函数为：

$f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} {{\left| {\bf{\Sigma }} \right|}^{\frac{1}{2}}}}}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}{{\bf{\Sigma }}^{ - 1}}({\bf{X}} - {\bf{\mu }})}}$

其中 ${\bf{\Sigma } }$ 为协方差矩阵，因为随机变量之间两两不相关：

${\bf{\Sigma }} = \left( {\begin{array}{c} {\sigma _1^2}&{}&{}&{}\\ {}&{\sigma _2^2}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\sigma _n^2} \end{array}} \right)$

其中$\sigma_i $为$ x_i$的标准差，那么联合概率密度函数可以写为：

$\begin{aligned} f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}\left( {\begin{array}{c} {\frac{1}{{\sigma _1^2}}}&{}&{}&{}\\ {}&{\frac{1}{{\sigma _2^2}}}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\frac{1}{{\sigma _n^2}}}\\ \end{array}} \right)({\bf{X}} - {\bf{\mu }})}}\\ &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}[\frac{{{x_1} - {\mu _1}}}{{\sigma _1^2}},\frac{{{x_2} - {\mu _2}}}{{\sigma _2^2}},...,\frac{{{x_n} - {\mu _n}}}{{\sigma _n^2}}]({\bf{X}} - {\bf{\mu }})}}\\ & = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}\sum\limits_{i = 1}^n {\frac{{{{({x_n} - {\mu _n})}^2}}}{{\sigma _n^2}}} }}\\ & = \prod\limits_{i = 1}^n {\frac{1}{{\sqrt {2\pi } {\sigma _i}}}} {e^{ - \frac{1}{2}\frac{{{{({x_i} - {\mu _i})}^2}}}{{\sigma _i^2}}}} \\ & = \prod\limits_{i = 1}^n {f({x_i})} \end{aligned}$

因此在随机变量服从高斯分布时，不相关与独立等价，互为充要条件。

正交 – 不相关

根据定义可以得知：当 $E [X] ， E [Y]$ 至少有一个为0时正交等价于不相关。

参考资料

http://blog.sciencenet.cn/blog-812827-1096465.html
https://blog.csdn.net/wjj5881005/article/details/53320403/
https://www.zhihu.com/question/26583332/answer/33327497
https://baike.baidu.com/item/%E4%B8%8D%E7%9B%B8%E5%85%B3%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F/19126995?fr=aladdin

苍蓝儿

关注

3
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
正交-不相关-独立

本文介绍随机变量中正交、不相关、独立的区别和联系。概述三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。考察mmm维随机变量X,YX,YX,Y之间的关系。定义正交定义R(X,Y)=E[XY]R(X, Y) = E[XY]R(X,Y)=E[XY]为相关函数：若R(X,Y)=0R(X, Y)=0R(X,Y)=0，称X,YX,YX,Y正交不相关定义 E[XY]=E[X]E[Y]E[XY] = E[X]E[Y]E[XY]=E[X]E[Y.
复制链接

扫一扫