4.2.1 二维随机向量的协方差

设 $(X,Y)$ 为二维随机向量, $g$ 为定义在二维实平面上实值函数, 如果 $E\left[g\left(X,Y\right)\right]$ 存在, 可以证明下面类似于 (4.1.2) 和 (4.1.4) 的两个有用的公式.

(1) 设离散型随机变量 $(X,Y)$ 有概率分布 $P\left(X=x_i,Y=y_j\right)=p_{ij}$, $i,j=1,2,\cdots$, 则

$$E\left[g\left(X,Y\right)\right]=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }g\left(x_i,y_j\right)p_{ij},\text{\hspace{1em}(4.2.1)}$$

(2) 设连续型随机变量 $(X,Y)$ 有分布密度函数 $f_{X,Y}$, 则

$$E\left[g\left(X,Y\right)\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g\left(x,y\right)f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y.\text{\hspace{1em}(4.2.2)}$$

特别地, 取 $g\left(x,y\right)=x$, 则由 (4.2.1) 有

$$E\left[X\right]=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{x}_i{p}_{ij}=\sum _{i=1}^{\infty }{x}_i\sum _{j=1}^{\infty }{p}_{ij}=\sum _{i=1}^{\infty }{x}_i{p}_{i\cdot \cdot }\text{\hspace{1em}(4.2.3)}$$

由 (4.2.2) 有

$$\begin{array}{rl}E\left[X\right]& ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }x{f}_{X,Y}(x,y)dxdy\\ & ={\int }_{-\infty }^{\infty }xdx{\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dy\\ & ={\int }_{-\infty }^{\infty }x{f}_X(x)dx\end{array}\text{\hspace{1em}(4.2.4)}$$

由 (4.2.3) 和 (4.2.4) 可见, 随机向量 (不仅限于二维随机向量) 的每个分量的期望都可用其联合概率分布列或联合分布密度函数计算得到, 这一点我们将在讨论期望和方差的运算性质时用到. 下面我们先引入协方差和相关系数的概念.

定义 4.2.1 (协方差 相关系数 不相关)

设 $(X,Y)$ 为二维随机向量, 且 $\mathrm{Var}\left[X\right]<\infty$, $\mathrm{Var}\left[Y\right]<\infty$. (1) 称

$$\mathrm{Cov}\left(X,Y\right)=E\left[\left(X-E\left[X\right]\right)\left(Y-E\left[Y\right]\right)\right]\text{\hspace{1em}(4.2.5)}$$

为 $X$ 与 $Y$ 的协方差.

(2) 称

$$r\left(X,Y\right)=\frac{\mathrm{Cov}\left(X,Y\right)}{\sqrt{\mathrm{Var}\left[X\right]}\cdot \sqrt{\mathrm{Var}\left[Y\right]}}\text{\hspace{1em}(4.2.6)}$$

为 $X$ 与 $Y$ 的相关系数.

(3) 若 $r\left(X,Y\right)=0$, 则称 $X$ 与 $Y$ 不相关.

Link to original

Transclude of 通过期望计算协方差#statement

• 3.1
• 3.2
• 3.5

为说明协方差和相关系数的概率意义, 我们不加证明地给出定理 4.2.1.

定理 4.2.1 (协方差 相关系数)

设 $(X,Y)$ 为二维随机向量,且 $\mathrm{Var}\left[X\right]<\infty$, $\mathrm{Var}\left[Y\right]<\infty$.

(1) (独立的必要条件) 若 $X$ 与 $Y$ 独立, 则 $\mathrm{Cov}\left(X,Y\right)=0$, 亦即 $r\left(X,Y\right)=0$

• 此事实由 4.2.2 节中期望的性质 3 和 (4.2.7) 是显然的

(2) $\left|r\left(X,Y\right)\right|\le 1$.

(3)

• 若 $r\left(X,Y\right)=1$, 则存在常数 $a>0$ 和 $b$, 使得

$$P\left(Y=aX+b\right)=1.$$

• 若 $r\left(X,Y\right)=-1$, 则存在常数 $a<0$ 和 $b$,使得

$$P\left(Y=aX+b\right)=1.$$Link to original

• 3. 11

定理 4.2.1 说明,相关系数反映 $X$ 与 $Y$ 的相关程度.

• 若 $r\left(X,Y\right)=1$, 我们称 $X$ 与 $Y$ 正相关.

• 若 $r\left(X,Y\right)=-1$, 我们称 $X$ 与 $Y$ 负相关. 但需要强调指出, 相关系数只反映 $X$ 与 $Y$ 线性相关的程度, 而不能刻画 $X$ 与 $Y$ 非线性关系 (参见例 4.2.1).

• 例 4.2.1 (相关系数只反映线性关系)

• 3.12

对于 $\left(X,Y\right)\sim N\left({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$. 经计算可得 $r\left(X,Y\right)=\rho$. 这说明对于正态分布的随机向量 $\left(X,Y\right)$, $X$ 与 $Y$ 独立的充要条件是 $X$ 与 $Y$ 不相关 (参见例 3.3.4), 这是正态分布所具有的独特的、非常重要的性质.

• 3.13

对于随机向量 $\mathbf{X}={\left(X_1,X_2,\cdots ,X_n\right)}^{\prime }$,其期望定义为各分量的期望组成的数值向量, 而协方差则为两两分量的协方差构成的矩阵. 亦即如下的定义 4.2.2.

定义 4.2.2 (随机向量的期望与协方差矩阵)

设随机向量 $\mathbf{X}={\left(X_1,X_2,\cdots ,X_n\right)}^{\prime }$ 的每个分量都有有限方差. 则定义

$$E\left[\mathbf{X}\right]={\left(E\left[X_1\right]，E\left[X_2\right]，\cdots ,E\left[X_n\right]\right)}^{\prime }$$

和

$$\mathrm{Var}\left[\mathbf{X}\right]={\left(\mathrm{Cov}\left(X_i,X_j\right)\right)}_{n\times n}.$$Link to original

• 例 4.2.2 (求随机向量的方差)
• 3.19