4.2.3 条件数学期望

条件数学期望是研究不独立随机变量的重要工具. 这里仅对离散型和连续型随机变量的条件数学期望作简单介绍.

简单地讲, 条件数学期望就是关于条件分布求数学期望.

设 $(X,Y)$ 为二维离散型随机向量,有有限的数学期望.

在 $\left\{Y=b_j\right\}$ 发生的条件下, $X$ 的条件数学期望 (简称为条件期望),就是在条件分布

$$P\left(X=a_i\mid Y=b_j\right),i=1,2,\cdots$$

下求数学期望, 即

$$E\left[X\mid Y=b_j\right]=\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\mid Y=b_j\right).\text{\hspace{1em}(4.2.14)}$$

在 $\left\{X=a_i\right\}$ 发生的条件下, $Y$ 的条件数学期望,就是在条件分布列

$$P\left(Y=b_j\mid X=a_i\right),j=1,2,\cdots$$

下求数学期望, 即

$$E\left[Y\mid X=a_i\right]=\sum _{j=1}^{\infty }{b}_{j}P\left(Y=b_j\mid X=a_i\right).\text{\hspace{1em}(4.2.15)}$$

设 $(X,Y)$ 为二维连续型随机向量, 有有限的数学期望.

在 $\{Y=y\}$ 发生的条件下, $X$ 的条件数学期望, 就是在条件分布密度函数 $f_{X\mid Y}\left(x\mid y\right)$ 下求数学期望, 即

$$E\left[X\mid Y=y\right]={\int }_{-\infty }^{\infty }x{f}_{X\mid Y}\left(x\mid y\right)\mathrm{d}x.\text{\hspace{1em}(4.2.16)}$$

在 $\{X=x\}$ 发生的条件下, $Y$ 的条件数学期望, 就是在条件分布密度函数 $f_{Y\mid X}\left(y\mid x\right)$ 下求数学期望, 即

$$E\left[Y\mid X=x\right]={\int }_{-\infty }^{\infty }y{f}_{Y\mid X}\left(y\mid x\right)\mathrm{d}y.\text{\hspace{1em}(4.2.17)}$$

从 (4.2.14)-(4.2.17) 的定义式中,我们看到 $E\left[X\mid Y\right]$ 和 $E\left[Y\mid X\right]$ 分别为 $Y$ 和 $X$ 的函数. 比如在 $E\left[X\mid Y=b_j\right]$ 中, 就与 $Y$ 的取值有关, 条件期望值随 $Y$ 的取值而变化.

另外,由于随机变量 $X$ 与 $Y$ 相互独立时, 条件分布与各自的边缘分布相同. 所以此时条件期望等于无条件期望, 即 $E\left[X\mid Y\right]=E\left[X\right]，E\left[Y\mid X\right]=E\left[Y\right].$

容易证明,

$$E\left[E\left[X\mid Y\right]\right]=E\left[X\right]，E\left[E\left[Y\mid X\right]\right]=E\left[Y\right].\text{\hspace{1em}(4.2.18)}$$

这是两个非常重要的公式, 它们对应于全概率公式 (参见定理 1.3.2).

为帮助读者理解 (4.2.18) 中 $E\left[E\left[X\mid Y\right]\right]$ 的含义, 我们就离散型随机变量的情形来证明 $E\left[E\left[X\mid Y\right]\right]=E\left[X\right].$

事实上, 由于 $E\left[X\mid Y\right]$ 是 $Y$ 的函数, 则由随机变量函数的期望的计算公式 (4.1.2) 和 (4.2.14) 有

$$\begin{array}{rl}& E\left[E\left[X\mid Y\right]\right]\\ & =\sum _{j=1}^{\infty }E\left[X\mid Y=b_j\right]\cdot P\left(Y=b_j\right)\\ & =\sum _{j=1}^{\infty }\left(\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\mid Y=b_j\right)\right)\cdot P\left(Y=b_j\right)\\ & =\sum _{j=1}^{\infty }\left(\sum _{i=1}^{\infty }{a}_i\frac{P\left(X=a_i,Y=b_j\right)}{P\left(Y=b_j\right)}\right)\cdot P\left(Y=b_j\right)\\ & =\sum _{i=1}^{\infty }{a}_i\left(\sum _{j=1}^{\infty }P\left(X=a_i,Y=b_j\right)\right)\\ & =\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\right)\\ & =E\left[X\right]\text{.}\end{array}$$

请读者对连续型随机变量的情形,用公式 (4.1.4) 和 (4.2.17) 证明 $E\left[E\left[Y\mid X\right]\right]=$ $E\left[Y\right]$.

因为条件数学期望是研究非独立随机变量基本工具之一, 我们通过一个例子来体会其应用.

例 4.2.5 (随机个随机变量的和)

另外,由 (3.3.6) 和 (3.3.7) 我们看到, 若 $\left(X,Y\right)\sim N\left({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$ (参见例 3.3.4), 则

$$E\left[X\mid Y\right]={\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}\left(Y-{\mu }_2\right),$$ $$E\left[Y\mid X\right]={\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}\left(X-{\mu }_1\right),$$

即 $E\left[X\mid Y\right]$ 和 $E\left[Y\mid X\right]$ 分别为 $Y$ 和 $X$ 的线性函数, 这是正态分布的很独特的性质之一.