7.2 估计量优劣性的评价

我们知道, 数理统计就是用局部数据推断总体, 推断的结论总会存在偏差. 参数的点估计就是基于某种想法,构造样本的函数 $T\left(X_1,X_2,\cdots ,X_n\right)$ 来实现对未知参数 $\theta$ 的估计,从而由不同的样本观测值得到的参数估计值总是与实际参数值有偏差, 这一点是无法避免的.

然而, 对于总体的同一个参数, 不同的估计方法也许偏差有所不同, 我们希望找一个比较偏差大小的标准. 最直观和基本的标准是,尽管 $T\left(X_1,X_2,\cdots ,X_n\right)$ 有时大于 $\theta$,有时小于 $\theta$,但平均下来,应与 $\theta$ 无差别. 这就是估计量的无偏性.

定义 7.2.1 ((渐近)无偏估计量)

设总体 $X\sim F_X\left(\cdot ,\theta \right),\theta \in \Theta ,g$ 为 $\theta$ 的函数, $T\left(X_1,X_2,\cdots ,X_n\right)$ 为一统计量. 如果

$$E_{\theta }\left[T\left(X_1,X_2,\cdots ,X_n\right)\right]=g\left(\theta \right),\text{\hspace{1em}(7.2.1)}$$

则称 $T\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的无偏估计量.

如果

$$\underset{n\to \infty }{\lim }{E}_{\theta }\left[T\left(X_1,X_2,\cdots ,X_n\right)\right]=g\left(\theta \right),\text{\hspace{1em}(7.2.2)}$$

则称 $T\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的渐近无偏估计量.

Link to original

定义 7.2.1 中的 $E_{\theta }$ 表示在总体的参数真为 $\theta$ 时所确定的概率分布下求数学期望,而 $g\left(\theta \right)$ 则是待估计参数一般表示, 即我们不仅求 $\theta$ 本身的估计, 还可能估计 $\theta$ 的某个函数.

例 7.2.1 (例 7.1.7 续)

在例 7.2.1 中, 虽然 ${\hat{\theta }}_L=X_{\left(n\right)}$ 不是 $\theta$ 的无偏估计量, 但是令 $\hat{\theta }=\frac{n+1}{n}{\hat{\theta }}_L$, 则有

$$E_{\theta }\left[\hat{\theta }\right]=E_{\theta }\left[\frac{n+1}{n}{\hat{\theta }}_L\right]=\frac{n+1}{n}{E}_{\theta }\left[X_{\left(n\right)}\right]=\frac{n+1}{n}\frac{n}{n+1}\theta =\theta ,$$

即 $\hat{\theta }=\frac{n+1}{m}{\hat{\theta }}_L$ 是 $\theta$ 的无偏估计量.

至此,对例 7.1.7 中的总体,我们得到两个无偏估计量 ${\hat{\theta }}_M=2\bar{X}$ 和 $\hat{\theta }=$ $\frac{n+1}{n}{X}_{\left(n\right)}$. 一个自然的问题是哪一个比较 “好” 呢? 对这两个均值都为 $\theta$ 的随机变量, 自然地我们认为, 方差较小的应当是比较 “好” 的.

下面我们来计算它们的方差.

$${\mathrm{Var}}_{\theta }\left[{\hat{\theta }}_M\right]={\mathrm{Var}}_{\theta }\left[2\bar{X}\right]=\frac{2^2}{n^2}\left\{{\mathrm{Var}}_{\theta }\left[X_1\right]+{\mathrm{Var}}_{\theta }\left[X_2\right]+\cdots +{\mathrm{Var}}_{\theta }\left[X_n\right]\right\}=\frac{4}{n^2}\cdot n\cdot \frac{{\theta }^2}{12}=\frac{{\theta }^2}{3n}.$$

而

$${\mathrm{Var}}_{\theta }\left[\hat{\theta }\right]=\frac{{\left(n+1\right)}^2}{n^2}{\mathrm{Var}}_{\theta }\left[X_{\left(n\right)}\right]$$ $$=\frac{{\left(n+1\right)}^2}{n^2}\left\{E_{\theta }\left[X_{\left(n\right)}^2\right]-{\left(E_{\theta }\left[X_{\left(n\right)}\right]\right)}^2\right\}$$ $$=\frac{{\left(n+1\right)}^2}{n^2}\left\{{\int }_0^{\theta }{x}^{2}n\frac{x^{n-1}}{{\theta }^n}\mathrm{d}x-\frac{n^2}{{\left(n+1\right)}^2}{\theta }^2\right\}$$ $$=\frac{{\left(n+1\right)}^2}{n^2}\left\{\frac{n}{n+2}{\theta }^2-\frac{n^2}{{\left(n+1\right)}^2}{\theta }^2\right\}$$ $$=\frac{{\theta }^2}{n\left(n+2\right)}.$$

可见,只要 $n>1$,就有

$${\mathrm{Var}}_{\theta }\left[\hat{\theta }\right]<{\mathrm{Var}}_{\theta }\left[{\hat{\theta }}_M\right]$$

亦即,我们认为 $\hat{\theta }=\frac{n+1}{n}{X}_{\left(n\right)}$ 比 ${\hat{\theta }}_M=2\bar{X}$ 要 “好”.

如果 $T_1\left(X_1,X_2,\cdots ,X_n\right)$ 和 $T_2\left(X_1,X_2,\cdots ,X_n\right)$ 都是待估计参数 $g\left(\theta \right)$ 的无偏估计,但 ${\mathrm{Var}}_{\theta }\left[T_1\right]\le {\mathrm{Var}}_{\theta }\left[T_2\right]$,我们称 $T_1$ 比 $T_2$ 有效. 一个自然的问题是. 对于待估计参数 $g\left(\theta \right)$,能否找到最有效的估计量呢? 这个问题引出如下的定义 7.2.2.

定义 7.2.2 (一致最小方差无偏估计量 (UMVUE))

设总体 $X\sim F_X\left(\cdot ,\theta \right),\theta \in \Theta$. 若 $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的无偏估计量,且对 $g\left(\theta \right)$ 的任意无偏估计量 $T\left(X_1,X_2,\cdots ,X_n\right)$ 都有

$${\mathrm{Var}}_{\theta }\left[T_0\right]\le {\mathrm{Var}}_{\theta }\left[T\right],\forall \theta \in \Theta .$$

则称 $T_0$ 为 $g\left(\theta \right)$ 的一致最小方差无偏估计量 (记为 UMVUE,它是 Uniformly Minimum Variance Unbiased Estimate 的缩写).

Link to original

可惜的是,对于一般的总体 $X\sim F_X\left(\cdot ,\theta \right)\left(\theta \in \Theta \right)$,目前还没有一个寻找 $g\left(\theta \right)$ 的一致最小方差无偏估计量的普遍可行的、构造性的方法. 已有的研究结果中只是对于一些特殊的总体类型有比较深刻或较为一般的结论或方法. 比如克拉默 - 拉奥 (Cramér-Rao) 定理, 就是对满足某种性质的总体分布类型, 事先得到参数 $g\left(\theta \right)$ 的无偏估计量方差的下界, 如果找到的无偏估计量 $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 的万差已达到该下界, 那么 $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 就是 $g\left(\theta \right)$ 的最有效估计量了. 再比如, 对于总体的分布为指数分布族, 通过寻找充分完备统计量, 可以达到寻找一致最小方差无偏估计量的目的. 我们熟悉的分布 $\mathrm{Exp}\left(\lambda \right),\mathrm{Pois}\left(\lambda \right),B\left(n,p\right)$ 和 $N\left(\mu ,{\sigma }^2\right)$ 等都属指数分布族,其参数的最大似然估计量 (对这些分布,矩法估计量与最大似然估计量相同), 都是一致最小方差无偏估计量.

另外, 需要指出的是, 虽然无偏性是对估计量的直观合理的要求. 但是下面的例 7.2.2 表明, 在有些情况下, 一个无偏估计量也许是具有 “很大偏差” 的.

例 7.2.2 (泊松分布函数的无偏估计量构造示例)

另外一种评价估计量的想法是当样本容量较大时, 考查估计量与待估计参数的差距, 也就是统计量的相合性.

定义 7.2.3 (相合估计量)

设总体 $X\sim F_X\left(\cdot ,\theta \right),\theta \in \Theta$. 并设 $T\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的估计量,如果对任意 $\epsilon >0$ 有

$$\underset{n\to \infty }{\lim }P\left(\left|T\left(X_1,X_2,\cdots ,X_n\right)-g\left(\theta \right)\right|\ge \epsilon \right)=0,\forall \theta \in \Theta .\text{\hspace{1em}(7.2.3)}$$

则称 $T\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的相合估计量.

Link to original

显然,若总体 $X$ 存在 $k$ 阶矩,则由大数定律 (参见 5.1 节的定理 5.1.1) 和相合性的定义知,样本 $k$ 阶原点矩 $\overline{X^k}=\frac{1}{n}\sum _{i=1}^n{X}^k$ 是总体 $k$ 阶原点矩 $E\left[X^k\right]$ 的相合估计量, 进而大多矩法估计量都是相合估计量.