第四章 随机变量的数字特征

对于一个随机变量 (随机向量), 如果知道了它的分布函数 (离散型的知道分布列, 连续型的知道分布密度函数), 则它的统计特性就完全知道了. 但对于有些随机变量, 或者它的分布难以求得, 只能得到某些比较片面的信息, 或者即使知道了其分布但我们关心的信息却不太明确. 例如, 比较两个班某科统考的成绩. 知道了每个同学的成绩, 却难以看出区别. 这时可利用一些数字特征, 比如各班的平均成绩、各班的最高分和最低分、各班的最高分与最低分的差距等, 来判断和分析两个班成绩的好坏.

4.1 一维随机变量的数字特征

本节我们介绍随机变量的数学期望、方差和矩等数字特征. 顾名思义, 数字特征就是用一个数值反映随机变量某方面的特性.

4.1.1 随机变量的数学期望

随机变量的数学期望又称均值. 我们知道, 随机变量的取值随着试验结果的不同而可能取不同的值, 并且取各值的概率不尽相同, 那么它的平均取值是多少呢?

1. 离散型随机变量的数学期望

我们先从离散型随机变量的一个例子入手来分析. 例如, 一位射手的水平用打出的环数来记, 其分布列为

$$X\sim \left(\begin{array}{cccccccccc}1& 2& 3& 4& 5& 6& 7& 8& 9& 10\\ 0.01& 0.02& 0.05& 0.06& 0.06& 0.1& 0.2& 0.3& 0.1& 0.1\end{array}\right).$$

我们想用一个数来刻画该射手的平均环数. 由于他打出各环数的概率不同, 显然不能用 1 到 10 的算术平均值来计算, 而应考虑他打出环数的概率. 根据概率的统计定义,我们可以认为,他射击 100 次,打出 1 环的次数近乎 1 次,打出 2 环的次数近乎 2 次,打出 3 环的次数近乎 5 次, $\cdots$,打出 10 环的次数近乎 10 次.

所以射击 100 次的平均环数近似地为

$$\frac{1\times 1+2\times 2+3\times 5+4\times 6+\cdots +8\times 30+9\times 10+10\times 10}{100}$$ $$=1\times \frac{1}{100}+2\times \frac{2}{100}+3\times \frac{5}{100}+4\times \frac{6}{100}+\cdots +10\times \frac{10}{100}$$ $$=1\cdot P\left(X=1\right)+2\cdot P\left(X=2\right)+3\cdot P\left(X=3\right)+4\cdot P\left(X=4\right)+\cdots +$$ $$10\cdot P\left(X=10\right)\text{.}$$

由此看来, 以下关于离散型随机变量的数学期望的定义是合理的.

定义 4.1.1 设离散型随机变量 $X$ 的概率分布列 $P\left(X=x_i\right)=p_i,i=$ $1,2,\cdots$. 若级数 $\sum _{i=1}^{\infty }\left|x_i\right|p_i$ 收敛,则称 $X$ 数学期望存在,并称

$$E\left[X\right]=\sum _{i=1}^{\infty }{x}_i{p}_i\text{\hspace{1em}(4.1.1)}$$

为 $X$ 的数学期望 (或均值),简称为 $X$ 的期望.

此定义中要求级数 $\sum _{i=1}^{\infty }{x}_i{p}_i$ 绝对收敛是因为 $x_1,x_2,\cdots ,x_n,\cdots$ 等数字的平均值应与其排列的次序无关.

对于离散型随机变量的函数的数学期望, 容易得到下面的结论.

设离散型随机变量 $X$ 的概率分布为 $P\left(X=x_i\right)=p_i,i=1,2,\cdots .g$ 为实变量的实值函数,且 $\sum _{i=1}^{\infty }\left|g\left(x_i\right)\right|p_i$ 收敛,则

$$E\left[g\left(X\right)\right]=\sum _{i=1}^{\infty }g\left(x_i\right)p_i\text{\hspace{1em}(4.1.2)}$$

公式 (4.1.2) 告诉我们,为要计算 $E\left[g\left(X\right)\right]$,无需先求得 $g\left(X\right)$ 的分布列.

下面我们通过例子计算几类重要离散型随机变量的数学期望.

例 4.1.1 设 $X\sim B\left(n,p\right)$,试求 $E\left[X\right]$.

解 $E\left[X\right]=\sum _{k=0}^{n}k\left(\begin{array}{l}n\\ k\end{array}\right)p^k{\left(1-p\right)}^{n-k}$

$$=\sum _{k=1}^{n}k\frac{n!}{k!\left(n-k\right)!}{p}^k{\left(1-p\right)}^{n-k}$$ $$=np\sum _{k=1}^n\frac{\left(n-1\right)!}{\left(k-1\right)!\left(n-1-\left(k-1\right)\right)!}{p}^{k-1}{\left(1-p\right)}^{n-1-\left(k-1\right)}$$ $$=np\sum _{l=0}^{n-1}\left(\begin{array}{c}n-1\\ l\end{array}\right)p^l{\left(1-p\right)}^{n-1-l}$$ $$=np{\left(p+\left(1-p\right)\right)}^{n-1}$$ $$=np\text{.}$$

这说明 $n$ 重独立伯努利试验中成功的平均次数为 $np$.

例 4.1.2 设 $X\sim \mathrm{Pois}\left(\lambda \right)$,试求 $E\left[X\right]$.

解

$$E\left[X\right]=\sum _{k=0}^{\infty }k\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}=\sum _{k=1}^{\infty }k\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}$$ $$=\lambda {\mathrm{e}}^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{\left(k-1\right)!}=\lambda {\mathrm{e}}^{-\lambda }{\mathrm{e}}^{\lambda }=\lambda .$$

这说明泊松分布的参数 $\lambda$ 恰是服从该分布的随机变量取值的平均值.

例 4.1.3 设 $X$ 的概率分布为

$$X\sim \left(\begin{array}{cccc}-1& 0& 1& 3\\ \frac{1}{8}& \frac{1}{4}& \frac{3}{8}& \frac{1}{4}\end{array}\right).$$

试求 $E\left[X\right],E\left[-X+2\right]$ 和 $E\left[X^2\right]$.

解 $E\left[X\right]=\left(-1\right)\times \frac{1}{8}+0\times \frac{1}{4}+1\times \frac{3}{8}+3\times \frac{1}{4}=1$.

$$E\left[-X+2\right]=\left(1+2\right)\times \frac{1}{8}+\left(0+2\right)\times \frac{1}{4}+\left(-1+2\right)\times \frac{3}{8}+\left(-3+2\right)\times \frac{1}{4}=1.$$ $$E\left[X^2\right]={\left(-1\right)}^2\times \frac{1}{8}+0^2\times \frac{1}{4}+1^2\times \frac{3}{8}+3^2\times \frac{1}{4}=\frac{11}{4}.$$

2. 连续型随机变量的数学期望

设连续型随机变量 $X$ 的分布密度函数为 $f_X$,则对任 $x$ 有

$$P\left(x\le X\le x+\Delta x\right)={\int }_x^{x+\Delta x}{f}_X\left(t\right)\mathrm{d}t\approx f_X\left(x\right)\Delta x,$$

所以,设想将 $\left(-\infty ,\infty \right)$ 划分成若干个不相交的有限区间 $\left(x_i,x_{i+1}\right],X$ 取值在每个区间上的概率约为 $f_X\left(x_i\right)\left(x_{i+1}-x_i\right)$,此时模仿 (4.1.1) 的定义, $X$ 的数学期望应为

$$\sum _{i=1}^{\infty }{x}_i{f}_X\left(x_i\right)\left(x_{i+1}-x_i\right)$$

再使划分越来越细, $X$ 的数学期望应为

$${\int }_{-\infty }^{\infty }x{f}_X\left(x\right)\mathrm{d}x$$

于是我们有定义 4.1.2.

定义 4.1.2 设连续型随机变量 $X$ 的分布密度函数为 $f_X$. 如果

$${\int }_{-\infty }^{\infty }\left|x\right|f_X\left(x\right)\mathrm{d}x<\infty ,$$

则称

$$E\left[X\right]={\int }_{-\infty }^{\infty }x{f}_X\left(x\right)\mathrm{d}x.\text{\hspace{1em}(4.1.3)}$$

为 $X$ 的数学期望 (或均值),简称为 $X$ 的期望.

与离散型随机变量的情形类似,若 $g$ 为实变量的实值函数,且

$${\int }_{-\infty }^{\infty }\left|g\left(x\right)\right|f_X\left(x\right)\mathrm{d}x<\infty ,$$

则可以证明 (需要较深的数学知识),

$$E\left[g\left(X\right)\right]={\int }_{-\infty }^{\infty }g\left(x\right)f_X\left(x\right)\mathrm{d}x.\text{\hspace{1em}(4.1.4)}$$

公式 (4.1.4) 告诉我们,要计算 $E\left[g\left(X\right)\right]$,无需先求得 $g\left(X\right)$ 的分布密度函数.

下面作为例子, 我们计算几类重要连续型分布的数学期望.

例 4.1.4 设 $X\sim U\left[a,b\right]$,试求 $E\left[X\right]$.

解 由于 $X$ 的分布密度函数为

$$f_X\left(x\right)=\{\begin{array}{ll}\frac{1}{b-a},& x\in \left[a,b\right],\\ 0,& \text{ 其他,}\end{array}$$

所以, 由 (4.1.3) 有

$$E\left[X\right]={\int }_a^{b}x\frac{1}{b-a}\mathrm{d}x=\frac{a+b}{2}.$$

可见, $X$ 的均值位于区间 $\left[a,b\right]$ 的中点,这与我们的直观想法一致,即 $X$ 的取值随试验结果的不同,有时大于 $\frac{a+b}{2}$,有时小于 $\frac{a+b}{2}$. 但因为分布是均匀的, 其平均取值应为区间 $\left[a,b\right]$ 的中点 $\frac{a+b}{2}$.

例 4.1.5 设 $X\sim N\left(\mu ,{\sigma }^2\right)$,试求 $E\left[X\right]$.

解 由于 $X$ 的分布密度函数为

$$f_X\left(x\right)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}},$$

所以, 由 (4.1.3) 有

$$E\left[X\right]={\int }_{-\infty }^{\infty }x\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}}\mathrm{d}x$$ $$=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }\left(\sigma y+\mu \right){\mathrm{e}}^{-\frac{y^2}{2}}\mathrm{d}y\left(\text{ 变数替换 }y=\frac{x-\mu }{\sigma }\right)$$ $$=\sigma \frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }y{\mathrm{e}}^{-\frac{y^2}{2}}\mathrm{d}y+\mu \frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{\mathrm{e}}^{-\frac{y^2}{2}}\mathrm{d}y$$ $$=\mu \text{.}$$

可见, $X$ 的均值为其分布参数 $\mu$. 由于 $x=\mu$ 是 $f_X$ 图像的对称轴,所以这个结果直观上是显然的.

例 4.1.6 设 $X\sim \mathrm{Exp}\left(\lambda \right)$,试求 $E\left[X\right]$.

解 由于 $X$ 的分布密度函数为

$$f_X\left(x\right)=\{\begin{array}{ll}\lambda {\mathrm{e}}^{-\lambda x},& x\in \left(0,+\infty \right).\\ 0,& \text{ 其他. }\end{array}$$

所以, 由 (4.1.3) 有

$$E\left[X\right]={\int }_0^{\infty }x\lambda {\mathrm{e}}^{-\lambda x}\mathrm{d}x$$ $$=\frac{1}{\lambda }{\int }_0^{\infty }y{\mathrm{e}}^{-y}\mathrm{d}y\left(\text{ 变数替换 }y=\lambda x\right)$$ $$=\frac{1}{\lambda }\Gamma \left(2\right)\left(\text{ 熟知 }\Gamma \left(\alpha \right)={\int }_0^{\infty }{y}^{\alpha -1}{\mathrm{e}}^{-y}\mathrm{d}y\right)$$ $$=\frac{1}{\lambda }\text{ (熟知 }\Gamma \left(n+1\right)=n!\text{ ). }$$

可见, $X$ 的均值为其分布参数 $\lambda$ 的倒数.

例 4.1.7 设 $X$ 服从标准柯西分布,即

$$f_X\left(x\right)=\frac{1}{\pi \left(1+x^2\right)}.$$

试问 $X$ 的数学期望是否存在?

解 由于

$${\int }_{-\infty }^{\infty }\left|x\right|\frac{1}{\pi \left(1+x^2\right)}\mathrm{d}x=\frac{2}{\pi }{\int }_0^{\infty }x\frac{1}{\left(1+x^2\right)}\mathrm{d}x\text{\hspace{1em}(4.1.5)}$$ $$=\frac{1}{\pi }{\int }_0^{\infty }\frac{d\left(1+x^2\right)}{\left(1+x^2\right)}$$ $$={\frac{1}{\pi }\ln \left(1+x^2\right)|}_0^{\infty }$$ $$=\underset{x\to \infty }{\lim }\frac{1}{\pi }\ln \left(1+x^2\right)$$ $$=\infty \text{.}$$

可见, $X$ 的数学期望不存在. 其实,熟悉积分收敛性判别的读者,立即可以看出 (4.1.5) 左端的积分不收敛, 从而可省去以上计算.

例 4.1.8 设 $X\sim U\left[0,2\pi \right],Y=\sin X$. 试求 $E\left[Y\right]$.

解 由 (4.1.4) 有

$$E\left[Y\right]=E\left[\sin X\right]={\int }_{-\infty }^{\infty }\sin x{f}_X\left(x\right)\mathrm{d}x={\int }_0^{2\pi }\sin x\frac{1}{2\pi }\mathrm{d}x=0.$$

从例 4.1.8 中读者可以看出公式 (4.1.4) 的重要性. 因为在这里 $Y=\sin X$ 的分布密度函数 $f_Y$ 不易求得,于是通过 ${\int }_{-\infty }^{\infty }y{f}_Y\left(y\right)\mathrm{d}y$ 求 $E\left[\sin X\right]$ 就很麻烦.

4.1.2 随机变量的方差

上一节我们引入的随机变量的数学期望 (均值), 反映出随机变量的取值的平均值这样一个特征. 除此之外, 现实问题中人们还关心随机变量取值的分散程度或波动性. 比如某水泥厂的一台打包机装一袋水泥的重量 (单位为 $\mathrm{kg}$ ) 在 $\left[50-0.5,50+0.5\right]$ 之间均匀分布,而另一台打包机装一袋水泥的重量 (单位为 $\mathrm{kg}$ ) 在 $\left[50-1.5,50+1.5\right]$ 之间均匀分布. 虽然两台打包机装一袋水泥的重量的均值都是 50, 但后者打出的一袋重量分散程度 (波动性) 较大. 本节引入的方差就反映随机变量取值的分散程度 (波动性) 的特征.

因为方差反映随机变量取值的波动性, 所以我们自然想到它取值相对于其均值的差别的大小. 所以有定义 4.1.3.

定义 4.1.3 设随机变量 $X$ 有有限的数学期望,如果 $E\left[{\left(X-E\left[X\right]\right)}^2\right]<\infty$, 则称

$$\mathrm{Var}\left[X\right]=E\left[{\left(X-E\left[X\right]\right)}^2\right]\text{\hspace{1em}(4.1.6)}$$

为 $X$ 的方差. 而称 $\sqrt{\mathrm{Var}\left[X\right]}$ 为 $X$ 的标准差,记为 $\sigma \left[X\right]$.

可见, 方差就是随机变量与其均值差的平方的平均值, 而标准差的引入是因为其量纲与 $X$ 的量纲相一致,从而更好解释实际问题.

借助公式 (4.1.2) 和 (4.1.4), 如果随机变量的方差存在, 我们有如下计算公式:

(1) 对于具有概率分布为 $P\left(X=x_i\right)=p_i,i=1,2,\cdots$ 的离散型随机变量 $X$,

$$\mathrm{Var}\left[X\right]=\sum _{i=1}^{\infty }{\left(x_i-E\left[X\right]\right)}^2{p}_i.\text{\hspace{1em}(4.1.7)}$$

(2)对于具有分布密度函数 $f_X$ 的连续型随机变量 $X$,

$$\mathrm{Var}\left[X\right]={\int }_{-\infty }^{\infty }{\left(x-E\left[X\right]\right)}^2{f}_X\left(x\right)\mathrm{d}x.\text{\hspace{1em}(4.1.8)}$$

由求和运算和积分运算的线性性, 显然有

$$\mathrm{Var}\left[X\right]=E\left[X^2\right]-{\left(E\left[X\right]\right)}^2.\text{\hspace{1em}(4.1.9)}$$

事实上, 若按 (4.1.7), 我们有

$$\mathrm{Var}\left[X\right]=\sum _{i=1}^{\infty }{\left(x_i-E\left[X\right]\right)}^2{p}_i$$ $$=\sum _{i=1}^{\infty }\left(x_i^2-2E\left[X\right]\cdot x_i+{\left(E\left[X\right]\right)}^2\right)p_i$$ $$=\sum _{i=1}^{\infty }{x}_i^2{p}_i-2E\left[X\right]\sum _{i=1}^{\infty }{x}_i{p}_i+{\left(E\left[X\right]\right)}^2\sum _{i=1}^{\infty }{p}_i$$ $$=E\left[X^2\right]-2E\left[X\right]\cdot E\left[X\right]+{\left(E\left[X\right]\right)}^2$$ $$=E\left[X^2\right]-{\left(E\left[X\right]\right)}^2.$$

请读者按 (4.1.8) 证明 (4.1.9). 有时利用 (4.1.9) 计算方差比较方便.

例 4.1.9 设 $X\sim B\left(1,p\right)$,试求 $\mathrm{Var}\left[X\right]$.

解 由于 $P\left(X=1\right)=p,P\left(X=0\right)=1-p$,所以

$$E\left[X\right]=1\cdot p+0\cdot \left(1-p\right)=p,$$ $$E\left[X^2\right]=1^2\cdot p+0^2\cdot \left(1-p\right)=p.$$

进而用 (4.1.9) 得

$$\mathrm{Var}\left[X\right]=p-p^2=p\left(1-p\right).$$

例 4.1.10 设 $X\sim U\left[a,b\right]$,试求 $\mathrm{Var}\left[X\right]$.

解 由例 4.1.4 知 $E\left[X\right]=\frac{a+b}{2}$,而

$$E\left[X^2\right]={\int }_a^b{x}^2\frac{1}{b-a}\mathrm{d}x=\frac{1}{3}\left(a^2+ab+b^2\right),$$

所以, 用 (4.1.9) 得

$$\mathrm{Var}\left[X\right]=\frac{1}{3}\left(a^2+ab+b^2\right)-{\left(\frac{a+b}{2}\right)}^2=\frac{{\left(b-a\right)}^2}{12}.$$

例 4.1.11 设 $X\sim \mathrm{Exp}\left(\lambda \right)$,试求 $\mathrm{Var}\left[X\right]$.

解 由例 4.1.6 知, $E\left[X\right]=\frac{1}{\lambda }$,而

$$E\left[X^2\right]={\int }_0^{\infty }{x}^2\lambda {\mathrm{e}}^{-\lambda x}\mathrm{d}x$$ $$=\frac{1}{{\lambda }^2}{\int }_0^{\infty }{y}^2{\mathrm{e}}^{-y}\mathrm{d}y\text{(参见例 4.1.6)}$$ $$=\frac{1}{{\lambda }^2}\Gamma \left(3\right)\text{(参见例 4.1.6)}$$ $$=\frac{2}{{\lambda }^2}\text{(参见例 4.1.6),}$$

所以, 用 (4.1.9) 得

$$\mathrm{Var}\left[X\right]=\frac{2}{{\lambda }^2}-{\left(\frac{1}{\lambda }\right)}^2=\frac{1}{{\lambda }^2}.$$

例 4.1.12 设 $X\sim \mathrm{Pois}\left(\lambda \right)$,试求 $\mathrm{Var}\left[X\right]$.

解 由例 4.1.2 知 $E\left[X\right]=\lambda$,而

$$E\left[X^2\right]=\sum _{k=0}^{\infty }{k}^2\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}=\sum _{k=1}^{\infty }{k}^2\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}=\sum _{k=1}^{\infty }\left(k\left(k-1\right)+k\right)\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}$$ $$=\sum _{k=2}^{\infty }k\left(k-1\right)\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}+\sum _{k=1}^{\infty }k\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}$$ $$={\lambda }^2{\mathrm{e}}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{\left(k-2\right)!}+\lambda \text{(参见例 4.1.2)}$$ $$={\lambda }^2+\lambda \text{.}$$

所以, 用 (4.1.9) 得

$$\mathrm{Var}\left[X\right]=\left({\lambda }^2+\lambda \right)-{\lambda }^2=\lambda$$

例 4.1.13 设 $X\sim N\left(\mu ,{\sigma }^2\right)$,试求 $\mathrm{Var}\left[X\right]$.

解 例 4.1.5 知 $E\left[X\right]=\mu$,由 (4.1.8) 有

$$\mathrm{Var}\left[X\right]={\int }_{-\infty }^{\infty }{\left(x-\mu \right)}^2\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}}\mathrm{d}x$$ $$={\sigma }^2\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{y}^2{\mathrm{e}}^{-\frac{y^2}{2}}\mathrm{d}y\left(\text{ 变数替换 }y=\frac{x-\mu }{\sigma }\right)$$ $$={\sigma }^2\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }\left(-y\right)\mathrm{d}\left({\mathrm{e}}^{-\frac{y^2}{2}}\right)$$ $$={{\sigma }^2\frac{1}{\sqrt{2\pi }}\left(-y{\mathrm{e}}^{-\frac{y^2}{2}}\right)|}_{-\infty }^{\infty }+{\sigma }^2\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{\mathrm{e}}^{-\frac{y^2}{2}}\mathrm{d}y$$ $$={\sigma }^2\text{.}$$

可见, $X$ 的分布参数 ${\sigma }^2$ 为其方差. 因为方差越大, $X$ 取值的分散程度就越大,这与我们在 2.3.3 节中所述的相一致,即 $\sigma$ 越小则正态曲线越陡峭, $\sigma$ 越大则止态曲线越平缓.

4.1.3 随机变量的矩

刻画随机变量的分布特性的另一类数字特征就是随机变量的矩. 我们这里做简单介绍.

则称 定义 4.1.4 设 $X$ 为随机变量, $c$ 为常数, $k$ 为正整数,如果 $E\left[{\left|X-c\right|}^k\right]<\infty$,

$$E\left[{\left(X-c\right)}^k\right]\text{\hspace{1em}(4.1.10)}$$

为 $X$ 关于点 $c$ 的 $k$ 阶矩.

当 $c=0$ 时,称 $E\left[X^k\right]$ 为 $X$ 的 $k$ 阶原点矩.

当 $c=E\left[X\right]$ 时,称 $E\left[{\left(X-E\left[X\right]\right)}^k\right]$ 为 $X$ 的 $k$ 阶中心矩.

由定义 (4.1.4) 看出, $X$ 的均值就是 $X$ 的 1 阶原点矩, $X$ 的方差就是 $X$ 的 2 阶中心矩.

由 2 阶、3 阶和 4 阶中心矩可以定义两种刻画随机变量分布特性的常用的数字特征, 它们是偏度和峰度.

定义 4.1.5 设 $X$ 为随机变量,如果 $E\left[X^4\right]<\infty$,则称

$$\frac{E\left[{\left(X-E\left[X\right]\right)}^3\right]}{{\left(\mathrm{Var}\left[X\right]\right)}^{3/2}}\text{\hspace{1em}(4.1.11)}$$

为 $X$ 的偏度. 而称

$$\frac{E\left[{\left(X-E\left[X\right]\right)}^4\right]}{{\left(\mathrm{Var}\left[X\right]\right)}^2}\text{\hspace{1em}(4.1.12)}$$

为 $X$ 的峰度.

顾名思义,偏度是刻画 $X$ 的分布的偏斜程度. 如果 $X$ 的分布关于 $E\left[X\right]$ 对称. 显然 3 阶矩 $E\left[{\left(X-E\left[X\right]\right)}^3\right]=0$,从而偏度为 0. 如果 $E\left[{\left(X-E\left[X\right]\right)}^3\right]>$ 0,则 $X$ 的分布取值大于 $E\left[X\right]$ 的概率较大,此时称 $X$ 的分布为右偏. 如果 $E\left[{\left(X-E\left[X\right]\right)}^3\right]<0$,则称 $X$ 的分布为左偏. (4.1.11) 中除以 ${\left(\mathrm{Var}\left[X\right]\right)}^{3/2}$ 则是为了标准化, 以消除因尺度选择不同所造成的影响.

显然, 正态分布的偏度为 0.

峰度则反映 $X$ 的分布 (密度) 在其均值附近的陡峭程度. 若 $X$ 的取值比较集中于 $E\left[X\right]$ 附近,则峰度较小,否则就比较大. 在 (4.1.12) 中分母出现 ${\left(\mathrm{Var}\left[X\right]\right)}^2$ 也是为了消除尺度的影响而标准化的.

若 $X\sim N\left(\mu ,{\sigma }^2\right)$,经计算可知 $E\left[{\left(X-\mu \right)}^4\right]=3{\sigma }^4$,此时 $X$ 的峰度系数为 3. 通常若一个随机变量的峰度系数大于 3, 则称为尖峰的.

4.2 随机向量的数字特征

上一节中我们引入了单个随机变量的数字特征, 对于两个随机变量, 我们将引入刻画它们相关关系的数字特征, 即协方差和相关系数. 在此基础上, 将引入随机向量的数字特征, 即期望向量和协方差矩阵. 最后, 讨论期望和方差的运算性质.

4.2.1 二维随机向量的协方差

设(X, Y)为二维随机向量, $g$ 为定义在二维实平面上实值函数,如果 $E\left[g\left(X,Y\right)\right]$ 存在,可以证明下面类似于 (4.1.2) 和 (4.1.4) 的两个有用的公式.

(1) 设离散型随机变量(X, Y)有概率分布 $P\left(X=x_i,Y=y_j\right)=p_{ij},i,j=$

$1,2,\cdots$,则

$$E\left[g\left(X,Y\right)\right]=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }g\left(x_i,y_j\right)p_{ij},\text{\hspace{1em}(4.2.1)}$$

(2)设连续型随机变量(X, Y)有分布密度函数 $f_{X,Y}$,则

$$E\left[g\left(X,Y\right)\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g\left(x,y\right)f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y.\text{\hspace{1em}(4.2.2)}$$

特别地,取 $g\left(x,y\right)=x$,则由 (4.2.1) 有

$$E\left[X\right]=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{x}_i{p}_{ij}=\sum _{i=1}^{\infty }{x}_i\sum _{j=1}^{\infty }{p}_{ij}=\sum _{i=1}^{\infty }{x}_i{p}_{i\cdot \cdot }\text{\hspace{1em}(4.2.3)}$$

由 (4.2.2) 有

$$E\left[X\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }x{f}_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y={\int }_{-\infty }^{\infty }x\mathrm{d}x{\int }_{-\infty }^{\infty }{f}_{X,Y}\left(x,y\right)\mathrm{d}y$$ $$={\int }_{-\infty }^{\infty }x{f}_X\left(x\right)\mathrm{d}x\text{\hspace{1em}(4.2.4)}$$

由 (4.2.3) 和 (4.2.4) 可见, 随机向量 (不仅限于二维随机向量) 的每个分量的期望都可用其联合概率分布列或联合分布密度函数计算得到, 这一点我们将在讨论期望和方差的运算性质时用到. 下面我们先引入协方差和相关系数的概念.

(1) 称 定义 4.2.1 设(X, Y)为二维随机向量,且 $\mathrm{Var}\left[X\right]<\infty ,\mathrm{Var}\left[Y\right]<\infty$.

$$\mathrm{Cov}\left(X,Y\right)=E\left[\left(X-E\left[X\right]\right)\left(Y-E\left[Y\right]\right)\right]\text{\hspace{1em}(4.2.5)}$$

为 $X$ 与 $Y$ 的协方差.

(2) 称

$$r\left(X,Y\right)=\frac{\mathrm{Cov}\left(X,Y\right)}{\sqrt{\mathrm{Var}\left[X\right]}\cdot \sqrt{\mathrm{Var}\left[Y\right]}}\text{\hspace{1em}(4.2.6)}$$

为 $X$ 与 $Y$ 的相关系数.

(3) 若 $r\left(X,Y\right)=0$,则称 $X$ 与 $Y$ 不相关.

由 (4.2.5) 和 (4.2.1), 有

$$\mathrm{Cov}\left(X,Y\right)=E\left[\left(X-E\left[X\right]\right)\left(Y-E\left[Y\right]\right)\right]$$ $$=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }\left(x_i-E\left[X\right]\right)\left(y_j-E\left[Y\right]\right)p_{ij}$$ $$=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }\left(x_i{y}_j-E\left[X\right]\cdot y_j-E\left[Y\right]\cdot x_i+E\left[X\right]\cdot E\left[X\right]\right)p_{ij}$$ $$=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{x}_i{y}_j{p}_{ij}-E\left[X\right]\cdot \sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{y}_j{p}_{ij}-$$ $$E\left[Y\right]\cdot \sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{x}_i{p}_{ij}+E\left[X\right]\cdot E\left[Y\right]\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{p}_{ij}$$ $$=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{x}_i{y}_j{p}_{ij}-E\left[X\right]\cdot \sum _{j=1}^{\infty }{y}_j{p}_{\cdot j}-E\left[Y\right]\cdot \sum _{i=1}^{\infty }{x}_i{p}_{i\cdot }+E\left[X\right]\cdot E\left[Y\right]$$ $$=E\left[XY\right]-E\left[X\right]\cdot E\left[Y\right]-E\left[Y\right]\cdot E\left[X\right]+E\left[X\right]\cdot E\left[Y\right]$$ $$=E\left[XY\right]-E\left[X\right]\cdot E\left[Y\right].$$

即

$$\mathrm{Cov}\left(X,Y\right)=E\left[XY\right]-E\left[X\right]\cdot E\left[Y\right].\text{\hspace{1em}(4.2.7)}$$

读者也可利用 (4.2.5) 和 (4.2.2) 证明 (4.2.7).

为说明协方差和相关系数的概率意义, 我们不加证明地给出定理 4.2.1.

定理 4.2.1 设(X, Y)为二维随机向量,且 $\mathrm{Var}\left[X\right]<\infty ,\mathrm{Var}\left[Y\right]<\infty$.

(1) 若 $X$ 与 $Y$ 独立,则 $\mathrm{Cov}\left(X,Y\right)=0$,亦即 $r\left(X,Y\right)=0$ (此事实由 4.2.2 节中期望的性质 3 和 (4.2.7) 是显然的).

(2) $\left|r\left(X,Y\right)\right|\le 1$.

(3) 若 $r\left(X,Y\right)=1$,则存在常数 $a>0$ 和 $b$,使得

$$P\left(Y=aX+b\right)=1.$$

若 $r\left(X,Y\right)=-1$,则存在常数 $a<0$ 和 $b$,使得

$$P\left(Y=aX+b\right)=1.$$

定理 4.2.1 说明,相关系数反映 $X$ 与 $Y$ 的相关程度. 若 $r\left(X,Y\right)=1$,我们称 $X$ 与 $Y$ 正相关. 若 $r\left(X,Y\right)=-1$,我们称 $X$ 与 $Y$ 负相关. 但需要强调指出,相关系数只反映 $X$ 与 $Y$ 线性相关的程度,而不能刻画 $X$ 与 $Y$ 非线性关系 (参见例 4.2.1).

对于 $\left(X,Y\right)\sim N\left({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$. 经计算可得 $r\left(X,Y\right)=\rho$. 这说明对于正态分布的随机向量 $\left(X,Y\right),X$ 与 $Y$ 独立的充要条件是 $X$ 与 $Y$ 不相关 (参见例 3.3.4), 这是正态分布所具有的独特的、非常重要的性质.

例 4.2.1 设 $X\sim N\left(0,1\right)$. 若令 $Y=X^2$,则 $X$ 与 $Y$ 有确定的非线性关系. 但是

$$\mathrm{Cov}\left(X,Y\right)=E\left[XY\right]-E\left[X\right]\cdot E\left[Y\right]=E\left[X^3\right]-E\left[X\right]\cdot E\left[X^2\right]$$ $$={\int }_{-\infty }^{\infty }{x}^3\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{x^2}{2}}\mathrm{d}x-0\cdot 1$$ $$=0\text{.}$$

这说明 $X$ 与 $Y$ 不相关.

例 4.2.2 设(X, Y)的联合分布密度函数为

$$f_{X,Y}\left(x,y\right)=\{\begin{array}{ll}8xy,& 0\le y\le x,0\le x\le 1.\\ 0,& \text{ 其他. }\end{array}$$

试求 $E\left[X\right],E\left[Y\right],\mathrm{Var}\left[X\right],\mathrm{Var}\left[Y\right],\mathrm{Cov}\left(X,Y\right)$ 和 $r\left(X,Y\right)$.

解 $E\left[X\right]={\int }_0^1\mathrm{d}x{\int }_0^{x}x\cdot 8xy\mathrm{d}y=\frac{4}{5}$.

$$E\left[Y\right]={\int }_0^1\mathrm{d}y{\int }_y^{1}y\cdot 8xy\mathrm{d}x=\frac{8}{15}.$$ $$\mathrm{Var}\left[X\right]=E\left[X^2\right]-{\left(E\left[X\right]\right)}^2={\int }_0^1\mathrm{d}x{\int }_0^x{x}^2\cdot 8xy\mathrm{d}y-{\left(\frac{4}{5}\right)}^2$$ $$=\frac{2}{3}-{\left(\frac{4}{5}\right)}^2=\frac{2}{75}\text{.}$$ $$\mathrm{Var}\left[Y\right]=E\left[Y^2\right]-{\left(E\left[Y\right]\right)}^2={\int }_0^1\mathrm{d}y{\int }_y^1{y}^2\cdot 8xy\mathrm{d}x-{\left(\frac{8}{15}\right)}^2$$ $$=\frac{1}{3}-{\left(\frac{8}{15}\right)}^2=\frac{11}{225}\text{.}$$ $$\mathrm{Cov}\left(X,Y\right)=E\left[XY\right]-E\left[X\right]\cdot E\left[Y\right]$$ $$={\int }_0^1\mathrm{d}x{\int }_0^{x}xy\cdot 8xy\mathrm{d}y-\frac{4}{5}\cdot \frac{8}{15}$$ $$=\frac{4}{9}-\frac{4}{5}\cdot \frac{8}{15}=\frac{4}{225}\text{.}$$ $$r\left(X,Y\right)=\frac{\mathrm{Cov}\left(X,Y\right)}{\sqrt{\mathrm{Var}\left[X\right]}\cdot \sqrt{\mathrm{Var}\left[Y\right]}}=\frac{\frac{4}{225}}{\sqrt{\frac{2}{75}}\cdot \sqrt{\frac{11}{225}}}=\frac{2\sqrt{66}}{33}\approx 0.4924.$$

对于随机向量 $\mathbf{X}={\left(X_1,X_2,\cdots ,X_n\right)}^{\prime }$,其期望定义为各分量的期望组成的数值向量, 而协方差则为两两分量的协方差构成的矩阵. 亦即如下的定义 4.2.2.

定义 4.2.2 设随机向量 $\mathbf{X}={\left(X_1,X_2,\cdots ,X_n\right)}^{\prime }$ 的每个分量都有有限方差. 则定义

$$E\left[\mathbf{X}\right]={\left(E\left[X_1\right],E\left[X_2\right],\cdots ,E\left[X_n\right]\right)}^{\prime }$$

和

$$\mathrm{Var}\left[\mathbf{X}\right]={\left(\mathrm{Cov}\left(X_i,X_j\right)\right)}_{n\times n}.$$

4.2.2 数学期望、方差和协方差的运算性质

微积分学中定义了数列的极限之后, 要讨论极限的运算性质, 从而使得求数列的和、积、商等的极限, 转化为求各数列极限的和、积、商的问题. 类似的情况也出现在求导数和求积分过程中. 本小节我们讨论期望和方差的运算性质. 利用这些性质可使求期望和方差的过程简化. 期望的运算性质主要是其线性性, 而方差的主要性质是, 当随机变量两两不相关时具有可加性.

(1)数学期望的运算性质

性质 1 任意常数 $c$ 的数学期望等于 $c$.

证明 将常数 $c$ 看成随机变量,它取 $c$ 的概率为 1,而不取其他值,由 (4.1.1) 即得.

本性质的直观意义是明显的,因为每次试验都取值 $c$,当然平均值为 $c$.

性质 2 (线性性) 设随机变量 $X,Y$ 的数学期望都存在, $a,b$ 为常数,则

$$E\left[aX+bY\right]=aE\left[X\right]+bE\left[Y\right].\text{\hspace{1em}(4.2.8)}$$

证明 不失一般性,只就连续型随机变量的情形加以证明. 设(X, Y)的联合分布密度为 $f_{X,Y}$,由于 $X,Y$ 的数学期望都存在,所以

$${\int }_{{\mathbf{R}}^2}\left|\left(ax+by\right)\right|f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y$$ $$\le \left|a\right|{\int }_{{\mathbf{R}}^2}\left|x\right|f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y+\left|b\right|{\int }_{{\mathbf{R}}^2}\left|y\right|f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y$$ $$=\left|a\right|{\int }_{-\infty }^{\infty }\left|x\right|f_X\left(x\right)\mathrm{d}x+\left|b\right|{\int }_{-\infty }^{\infty }\left|y\right|f_Y\left(y\right)\mathrm{d}y<\infty .$$

另外, 由积分的线性性知

$$E\left[aX+bY\right]={\int }_{{\mathbf{R}}^2}\left(ax+by\right)f_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y$$ $$=a{\int }_{{\mathbf{R}}^2}x{f}_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y+b{\int }_{{\mathbf{R}}^2}y{f}_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y$$ $$=a{\int }_{-\infty }^{\infty }x{f}_X\left(x\right)\mathrm{d}x+b{\int }_{-\infty }^{\infty }y{f}_Y\left(y\right)\mathrm{d}y$$ $$=aE\left[X\right]+bE\left[Y\right].$$

性质 3 设随机变量 $X$ 与 $Y$ 相互独立,且 $X$ 和 $Y$ 的数学期望存在,则

$$E\left[XY\right]=E\left[X\right]\cdot E\left[Y\right].\text{\hspace{1em}(4.2.9)}$$

证明 不失一般性,只就连续型随机变量的情形加以证明. 设(X, Y)的联合分布密度为 $f_{X,Y},X$ 与 $Y$ 的分布密度函数分别为 $f_X$ 和 $f_Y$. 由 $X$ 与 $Y$ 相互

独立知

$$f_{X,Y}\left(x,y\right)=f_X\left(x\right)\cdot f_Y\left(y\right),$$

从而

$$E\left[XY\right]={\int }_{{\mathbf{R}}^2}xy{f}_{X,Y}\left(x,y\right)\mathrm{d}x\mathrm{d}y$$ $$={\int }_{{\mathbf{R}}^2}xy{f}_X\left(x\right)\cdot f_Y\left(y\right)\mathrm{d}x\mathrm{d}y$$ $$={\int }_{-\infty }^{\infty }x{f}_X\left(x\right)\mathrm{d}x\cdot {\int }_{-\infty }^{\infty }y{f}_Y\left(y\right)\mathrm{d}y$$ $$=E\left[X\right]\cdot E\left[Y\right].$$

由 (4.2.7) 可知,性质 3 中的独立性条件可弱化为 $X$ 与 $Y$ 不相关.

例 4.2.3 设 $X\sim B\left(n,p\right)$,试求 $E\left[X\right]$.

解 这个问题在例 4.1.1 中已有答案. 我们这里利用数学期望的线性性来计算. 由于 $X$ 与 $n$ 重独立伯努利试验中的 “成功” 次数同分布 (成功的概率为 $p$ ), 令

$$X_i=\{\begin{array}{ll}1,& \text{ 若第 }i\text{ 次试验成功,}\\ 0,& \text{ 若第 }i\text{ 次试验失败,}\end{array}i=1,2,\cdots ,n,$$

则 $P\left(X_i=1\right)=p,P\left(X_i=0\right)=1-p$,进而有 $E\left[X_i\right]=p,i=1,2,\cdots ,n$. 且

$$X=X_1+X_2+\cdots +X_n$$

所以由数学期望的线性性 (参见 (4.2.8)) 有

$$E\left[X\right]=E\left[X_1+X_2+\cdots +X_n\right]=E\left[X_1\right]+E\left[X_2\right]+\cdots +E\left[X_n\right]=np.$$

下面我们利用数学期望的运算性质来证明方差的运算性质.

(2)方差的运算性质

性质 1 任意常数 $c$ 的方差为 0.

证明 由于 $E\left[c\right]=c$,所以 $\mathrm{Var}\left[c\right]=E\left[{\left(c-E\left[c\right]\right)}^2\right]=0$.

本性质的直观意义是明显的,因为每次试验都取值 $c$,当然分散程度为 0. 反过来,可以证明,若 $\mathrm{Var}\left[X\right]=0$,则存在常数 $c$ 使得 $P\left(X=c\right)=0$.

性质 2 设随机变量 $X$ 与 $Y$ 相互独立,且 $X$ 与 $Y$ 的方差都存在, $a,b$ 为常数, 则

$$\mathrm{Var}\left[aX+bY\right]=a^2\mathrm{Var}\left[X\right]+b^2\mathrm{Var}\left[Y\right].\text{\hspace{1em}(4.2.10)}$$

证明 由 $X$ 与 $Y$ 相互独立和 (4.2.7) 以及期望的性质 3 知, $\mathrm{Cov}\left(X,Y\right)=0$. 再由数学期望的线性性, 我们有

$$\mathrm{Var}\left[aX+bY\right]=E\left[{\left[\left(aX+bY\right)-E\left[aX+bY\right]\right]}^2\right]$$ $$=E\left[{\left[a\left(X-E\left[X\right]\right)+b\left(Y-E\left[Y\right]\right)\right]}^2\right]$$ $$=E\left[a^2{\left(X-E\left[X\right]\right)}^2+b^2{\left(Y-E\left[Y\right]\right)}^2+2ab\left(X-E\left[X\right]\right)\left(Y-E\left[Y\right]\right)\right]$$ $$=a^2\mathrm{Var}\left[X\right]+b^2\mathrm{Var}\left[Y\right]+2ab\mathrm{Cov}\left(X,Y\right)$$ $$=a^2\mathrm{Var}\left[X\right]+b^2\mathrm{Var}\left[Y\right].$$

由性质 2 的证明可见,其中的独立性条件可弱化为 $X$ 与 $Y$ 不相关.

例 4.2.4 设 $X\sim B\left(n,p\right)$,试求 $\mathrm{Var}\left[X\right]$.

解 沿用例 4.2.3 的有关记号, $\mathrm{Var}\left[X_i\right]=p\left(1-p\right),i=1,2,\cdots ,n$. 由试验的独立性知, $X_1,X_2,\cdots ,X_n$ 相互独立,且

$$X=X_1+X_2+\cdots +X_n$$

所以由方差的性质 2 有

$$\mathrm{Var}\left[X\right]=\mathrm{Var}\left[X_1+X_2+\cdots +X_n\right]=\mathrm{Var}\left[X_1\right]+\mathrm{Var}\left[X_2\right]+\cdots +\mathrm{Var}\left[X_n\right]=np\left(1-p\right).$$

(3) 协方差的运算性质

协方差的运算性质是其对称性和双线性性.

性质 1 (对称性) 设随机变量 $X$ 和 $Y$ 的方差都存在,则

$$\mathrm{Cov}\left[X,Y\right]=\mathrm{Cov}\left[Y,X\right]\text{\hspace{1em}(4.2.11)}$$

由协方差的定义, 这个性质是显然的.

性质 2 (双线性性) 设随机变量 $X,Y$ 和 $Z$ 的方差都存在, $a,b$ 为常数,则有

$$\mathrm{Cov}\left[aX+bY,Z\right]=a\mathrm{Cov}\left[X,Z\right]+b\mathrm{Cov}\left[Y,Z\right]\text{\hspace{1em}(4.2.12)}$$

和

$$\mathrm{Cov}\left[Z,aX+bY\right]=a\mathrm{Cov}\left[Z,X\right]+b\mathrm{Cov}\left[Z,Y\right].\text{\hspace{1em}(4.2.13)}$$

这个性质由协方差的对称性以及

$$E\left[\left(aX+bY\right)-E\left[aX+bY\right]\left(Z-E\left[Z\right]\right)\right]$$ $$=aE\left[\left(X-E\left[X\right]\right)\left(Z-E\left[Z\right]\right)\right]+bE\left[\left(Y-E\left[Y\right]\right)\left(Z-E\left[Z\right]\right)\right]$$ $$=a\mathrm{Cov}\left[X,Z\right]+b\mathrm{Cov}\left[Y,Z\right],$$

即得.

4.2.3 条件数学期望

条件数学期望是研究不独立随机变量的重要工具. 这里仅对离散型和连续型随机变量的条件数学期望作简单介绍.

简单地讲, 条件数学期望就是关于条件分布求数学期望.

设(X, Y)为二维离散型随机向量,有有限的数学期望. 在 $\left\{Y=b_j\right\}$ 发生的条件下, $X$ 的条件数学期望 (简称为条件期望),就是在条件分布

$$P\left(X=a_i\mid Y=b_j\right),i=1,2,\cdots$$

下求数学期望, 即

$$E\left[X\mid Y=b_j\right]=\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\mid Y=b_j\right).\text{\hspace{1em}(4.2.14)}$$

在 $\left\{X=a_i\right\}$ 发生的条件下, $Y$ 的条件数学期望,就是在条件分布列

$$P\left(Y=b_j\mid X=a_i\right),j=1,2,\cdots$$

下求数学期望, 即

$$E\left[Y\mid X=a_i\right]=\sum _{j=1}^{\infty }{b}_{j}P\left(Y=b_j\mid X=a_i\right).\text{\hspace{1em}(4.2.15)}$$

设(X, Y)为二维连续型随机向量,有有限的数学期望. 在 $\{Y=y\}$ 发生的条件下, $X$ 的条件数学期望,就是在条件分布密度函数 $f_{X\mid Y}\left(x\mid y\right)$ 下求数学期望, 即

$$E\left[X\mid Y=y\right]={\int }_{-\infty }^{\infty }x{f}_{X\mid Y}\left(x\mid y\right)\mathrm{d}x.\text{\hspace{1em}(4.2.16)}$$

在 $\{X=x\}$ 发生的条件下, $Y$ 的条件数学期望,就是在条件分布密度函数 $f_{Y\mid X}\left(y\mid x\right)$ 下求数学期望,即

$$E\left[Y\mid X=x\right]={\int }_{-\infty }^{\infty }y{f}_{Y\mid X}\left(y\mid x\right)\mathrm{d}y.\text{\hspace{1em}(4.2.17)}$$

从 (4.2.14)-(4.2.17) 的定义式中,我们看到 $E\left[X\mid Y\right]$ 和 $E\left[Y\mid X\right]$ 分别为 $Y$ 和 $X$ 的函数. 比如在 $E\left[X\mid Y=b_j\right]$ 中,就与 $Y$ 的取值有关,条件期望值随 $Y$ 的取值而变化.

另外,由于随机变量 $X$ 与 $Y$ 相互独立时,条件分布与各自的边缘分布相同. 所以此时条件期望等于无条件期望,即 $E\left[X\mid Y\right]=E\left[X\right],E\left[Y\mid X\right]=E\left[Y\right]$.

容易证明,

$$E\left[E\left[X\mid Y\right]\right]=E\left[X\right],E\left[E\left[Y\mid X\right]\right]=E\left[Y\right].\text{\hspace{1em}(4.2.18)}$$

这是两个非常重要的公式, 它们对应于全概率公式 (参见定理 1.3.2).

为帮助读者理解 (4.2.18) 中 $E\left[E\left[X\mid Y\right]\right]$ 的含义,我们就离散型随机变量的情形来证明 $E\left[E\left[X\mid Y\right]\right]=E\left[X\right]$.

事实上,由于 $E\left[X\mid Y\right]$ 是 $Y$ 的函数,则由随机变量函数的期望的计算公式 (4.1.2) 和 (4.2.14) 有

$$E\left[E\left[X\mid Y\right]\right]=\sum _{j=1}^{\infty }E\left[X\mid Y=b_j\right]\cdot P\left(Y=b_j\right)$$ $$=\sum _{j=1}^{\infty }\left(\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\mid Y=b_j\right)\right)\cdot P\left(Y=b_j\right)$$ $$=\sum _{j=1}^{\infty }\left(\sum _{i=1}^{\infty }{a}_i\frac{P\left(X=a_i,Y=b_j\right)}{P\left(Y=b_j\right)}\right)\cdot P\left(Y=b_j\right)$$ $$=\sum _{i=1}^{\infty }{a}_i\left(\sum _{j=1}^{\infty }P\left(X=a_i,Y=b_j\right)\right)$$ $$=\sum _{i=1}^{\infty }{a}_{i}P\left(X=a_i\right)$$ $$=E\left[X\right]\text{.}$$

请读者对连续型随机变量的情形,用公式 (4.1.4) 和 (4.2.17) 证明 $E\left[E\left[Y\mid X\right]\right]=$ $E\left[Y\right]$.

因为条件数学期望是研究非独立随机变量基本工具之一, 我们通过一个例子来体会其应用.

例 4.2.5 (随机个随机变量的和) 设 $X_1,X_2,\cdots$ 为独立同分布随机变量序列,数学期望为 $\mu ,N$ 为非负整数值随机变量,数学期望存在,且与 $X_1,X_2,\cdots$ 独立,试求 $E\left[\sum _{k=1}^N{X}_k\right]$.

解 $E\left[\sum _{k=1}^N{X}_k\right]=E\left(E\left[\sum _{k=1}^N{X}_k\mid N\right]\right)$

$$=\sum _{n=0}^{\infty }E\left[\sum _{k=1}^N{X}_k\mid N=n\right]\cdot P\left(N=n\right)$$ $$=\sum _{n=0}^{\infty }E\left[\sum _{k=1}^n{X}_k\right]\cdot P\left(N=n\right)$$ $$=\sum _{n=0}^{\infty }n\mu \cdot P\left(N=n\right)$$ $$=\mu \cdot E\left[N\right]\text{.}$$

另外,由 (3.3.6) 和 (3.3.7) 我们看到,若 $\left(X,Y\right)\sim N\left({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$ (参见例 3.3.4), 则

$$E\left[X\mid Y\right]={\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}\left(Y-{\mu }_2\right),E\left[Y\mid X\right]={\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}\left(X-{\mu }_1\right),$$

即 $E\left[X\mid Y\right]$ 和 $E\left[Y\mid X\right]$ 分别为 $Y$ 和 $X$ 的线性函数,这是正态分布的很独特的性质之一.

第四章小结与注记

(1) 我们知道, 对于随机变量 (包括一维和多维), 只要知道了分布函数 (或联合分布函数, 离散型的概率分布和连续型的分布密度函数), 它的统计特性就完全知晓了. 但现实问题中, 随机变量的分布难以求得, 想把握随机变量取值的某一方面的特征, 往往用一个数字来记这就是的随机变量的 “数字特征”.

(2)对于单个随机变量,主要的数字特征是数学期望 (又称均值) 和方差 (或标准差), 它们分别刻画随机变量取值的平均值和分散程度 (或称波动性). 在数理统计 (或较深的课程随机过程论) 中它们往往是以参数的形式出现的, 但我们也希望知道它们. 峰度和偏度等数字特征在实际问题的刻画中也时常用到.

(3) 对于随机向量, 主要的数字特征是两个随机变量间的协方差 (或相关系数), 它刻画两个随机变量之间的线性关系的紧密程度. 正如, 我们所强调的, 它仅仅反映二者的线性相关的程度, 而不反映非线性相关的程度.

至于随机向量的期望自然地定义为各分量期望构成的数值向量, 方差则指协方差矩阵.

(4)讨论期望 (算子) 和方差 (算子) 的运算性质, 可以为计算较为复杂的随机变量的期望和方差带来方便. 这里称二者为算子, 是因为期望和方差都把一个随机变量与一个数对应起来.

需要强调指出的是:

(4.1) 期望具有线性性 (参见 (4.2.8)).

(4.2) 协方差具有双线性性 (参见 (4.2.12) 及 (4.2.13)).

(4.3) 当 $X$ 与 $Y$ 不相关 (或更强: 相互独立) 时,期望具有乘积性质 (参见 (4.2.9)), 方差具有可加性 (参见 (4.2.10)).

(5) 条件数学期望是研究相依 (不独立) 随机变量的重要工具之一, 我们这里只就离散型和连续型随机变量的情形作了简单介绍. 对于一般随机变量的情形, 条件数学期望的定义需要更为高深的数学知识 (特别是测度论知识), 才能解释清楚.

第四章习题

4.1. 设二维随机变量(X, Y)的联合概率分布为

	0	1
0	$\frac{9}{25}$	$\frac{6}{25}$
1	$\frac{4}{25}$	$\frac{6}{25}$

试求 $E\left[X\right],E\left[Y\right]$.

4.2. 设随机变量 $X$ 的分布密度函数为

$$f\left(x\right)=\{\begin{array}{ll}\frac{3}{8}{x}^2,& 0\le x\le 2,\\ 0,& \text{ 其他. }\end{array}$$

求随机变量 $X$ 的期望 $E\left[X\right]$.

4.3. 假设机器在一天内发生故障的概率为 0.2, 机器发生故障时全天停止工作. 若一周 5 个工作日里无故障, 可获利 10 万元, 发生一次故障仍可获利 5 万元, 发生二次故障则获利为 0, 发生三次或三次以上故障就要亏损 2 万元. 试问一周内平均获利是多少?

4.4. 设随机变量 $X$ 服从参数为 0.5 的泊松分布,试求随机变量 $Y=X/\left(1+X\right)$ 的数学期望 $E\left[Y\right]$.

4.5. 设二维连续型随机变量(X, Y)的分布密度函数为

$$f\left(x,y\right)=\{\begin{array}{ll}{\mathrm{e}}^{-y},& 0<x<y,\\ 0,& \text{ 其他. }\end{array}$$

求 (1) $X$ 的数学期望. (2) $X^2$ 的数学期望. (3) $XY$ 的数学期望.

4.6. 现有 3 个袋子,各装有 $a$ 个白球和 $b$ 个黑球,先从第 1 个袋子中摸出一球,记下颜色后把它放入第 2 个袋子中, 再从第 2 袋子中摸出一球, 记下颜色后把它放入第 3 个袋子中, 最后从第 3 个袋子中摸出一球,记下颜色,记这 3 次摸球中所得的白球总数为 $X$,求 $E\left[X\right]$.

4.7. 设随机变量 $X$ 的分布列为求随机变量 $X$ 的方差.

$X$		1	5
$P$		0.6	0.2

4.8. 设随机变量 $X$ 的分布密度函数为

$$f\left(x\right)=\{\begin{array}{ll}2x,& 0<x<1,\\ 0,& \text{ 其他. }\end{array}$$

求随机变量 $X$ 的方差.

4.9. 已知随机变量 $X$ 的分布密度函数为

$$f\left(x\right)=\{\begin{array}{ll}\frac{x}{2},& 0\le x\le 2\\ 0,& \text{ 其他. }\end{array}$$

试求: (1) 随机变量 $X$ 的数学期望、方差和标准差. (2) $E\left[{\mathrm{e}}^X\right]$.

4.10. 设随机变量(X, Y)的联合概率分布为

$Y$ $X$	-1	0	1
-2	$a$	0	0
-1	0.14	$b$	0
1	0.12	0.16	0.32

已知 $E\left(X+Y\right)=0$,求: (1) $a,b$. (2) $\mathrm{Var}\left[Y\right]$. (3) $E\left[X^{2}Y\right]$.

4.11. 设随机变量 $X$ 的分布列为

$X$	-2	0	6
$P$	0.2	0.4	0.4

求随机变量 $X$ 的偏度.

4.12. 已知随机变量 $X$ 的分布密度函数为

$$f\left(x\right)=\{\begin{array}{ll}\left|x\right|,& -1\le x\le 1\\ 0,& \text{ 其他. }\end{array}$$

试求 $X$ 的峰度.

值. 4.13. 已知 $\mathrm{Var}\left[Y\right]=36,\mathrm{Cov}\left(X,Y\right)=-12$,相关系数 $r\left(X,Y\right)=-0.4$,求 $\mathrm{Var}\left[X\right]$ 之

4.14. 设二维随机变量(X, Y)的分布密度函数为

$$f\left(x,y\right)=\{\begin{array}{ll}\frac{1}{\pi },& x^2+y^2\le 1\\ 0,& \text{ 其他. }\end{array}$$

(1) 证明: $\mathrm{Cov}\left(X,Y\right)=0$. (2) 判断 $X$ 与 $Y$ 是否独立.

4.15. 设随机变量 $X_1,X_2,X_3$ 独立同分布,且 $X_i\left(i=1,2,3\right)$ 的分布列为: $P\left(X_i=k\right)=$ $\frac{1}{2}\left(k=1,2,3\right)$,求 $Y=\max \left\{X_1,X_2,X_3\right\}$ 的数学期望.

4.16. 若(X, Y)服从二元正态分布 $N\left(-1,5,2,3,-0.5\right)$,试求 $Z=2X-3Y$ 的数字期望 $E\left[Z\right]$ 与方差 $\mathrm{Var}\left[Z\right]$.

4.17. 设(X, Y)的联合概率分布为

$Y$ $X$	0	1
0	0.1	$a$
1	$b$	0.4

已知 $P\left(X=1\mid Y=1\right)=\frac{2}{3}$,试求 (1) $a,b$ 之值. (2) $\mathrm{Cov}\left(X,2Y\right)$.

4.18. 设二维随机变量(X, Y)的联合概率分布列为

$Y$ $X$	-1	0	1
0	0.07	0.18	0.15
1	0.08	0.32	0.20

(1) 计算 $E\left[X^2\right]$. (2) 计算 $X$ 与 $Y$ 的相关系数. (3) 判断 $X$ 与 $Y$ 是否独立.

4.19. 设二维随机变量(X, Y)的联合概率分布列为

$Y$ $X$	01
0	$\frac{9}{25}$$\frac{6}{25}$
1	$\frac{4}{25}$$\frac{6}{25}$

试求 $X+Y$ 与 $X-Y$ 的协方差.

4.20. 设二维随机变量(X, Y)的联合概率分布列为

$Y$ $X$	-1	0	1
-1	0	$\frac{1}{8}$	0
0	$\frac{1}{8}$	0	$\frac{1}{4}\frac{1}{1}$
1		$\frac{1}{4}$

计算条件期望 $E\left[X+Y\mid X=1\right]$.

4.21. 设二维连续型随机变量(X, Y)的分布密度函数为

$$f\left(x,y\right)=\{\begin{array}{ll}3x,& 0<x<1,0<y<x,\\ 0,& \text{ 其他. }\end{array}$$

给定 $Y=0.5$,求 $X$ 的条件数学期望 $E\left[X\mid Y=0.5\right]$.

4.22. 袋中有红、白、黑三种颜色球若干, 若从袋中任摸一球, 摸出的球为红球的概率为 $p_1$,摸出的球为白球的概率为 $p_2$. 现从袋中有放回地摸球 $n$ 次,共摸出红球 $X$ 次,摸出白球 $Y$ 次,试求 $X$ 与 $Y$ 的相关系数 $r\left(X,Y\right)$.

4.23. 电视台有一节目 “幸运观众有奖答题”: 有两类题目, $A$ 类题答对一题奖励 1000 元. $B$ 类题答对一题奖励 500 元. 答错无奖励,并带上前面得到的钱退出,答对后可继续答题,并假设节目可无限进行下去 (有无限的题目与时间),选择 $A,B$ 类型题目分别由抛均匀硬币出现的正、反面决定. 已知某答题者 $A$ 类题答对的概率都为 0.4,答错的概率都为 $0.6,B$ 类题答对的概率都为 0.6, 答错的概率都为 0.4. 试求:

(1)该答题者答对题数的数学期望.

(2)该答题者得到奖励金额的数学期望.