统计量的有效性

回顾 例 7.1.7 的两个估计量

定义 (更有效的估计)

如果 $T_1\left(X_1,X_2,\cdots ,X_n\right)$ 和 $T_2\left(X_1,X_2,\cdots ,X_n\right)$ 都是待估计参数 $g\left(\theta \right)$ 的无偏估计, 但 ${\mathrm{Var}}_{\theta }\left[T_1\right]\le {\mathrm{Var}}_{\theta }\left[T_2\right],$ 我们称 $T_1$ 比 $T_2$ 有效.

Link to original

一个自然的问题是

Question

对于待估计参数 $g\left(\theta \right)$, 能否找到最有效的估计量呢?

这个问题引出如下的定义 7.2.2.

定义 7.2.2 (一致最小方差无偏估计量 (UMVUE))

设

• 总体 $X\sim F_X\left(\cdot ,\theta \right)$, $\theta \in \Theta$.
• $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 为 $g\left(\theta \right)$ 的无偏估计量.

若对 $g\left(\theta \right)$ 的任意无偏估计量 $T\left(X_1,X_2,\cdots ,X_n\right)$ 都有

$${\mathrm{Var}}_{\theta }\left[T_0\right]\le {\mathrm{Var}}_{\theta }\left[T\right],\forall \theta \in \Theta .$$

则称 $T_0$ 为 $g\left(\theta \right)$ 的 一致最小方差无偏估计量

• 记为 UMVUE,它是 Uniformly Minimum Variance Unbiased Estimate 的缩写

Link to original

可惜的是, 对于一般的总体 $X\sim F_X\left(\cdot ,\theta \right)\left(\theta \in \Theta \right)$, 目前还没有一个寻找 $g\left(\theta \right)$ 的一致最小方差无偏估计量的普遍可行的、构造性的方法. 已有的研究结果中只是对于一些特殊的总体类型有比较深刻或较为一般的结论或方法. 比如 克拉默 - 拉奥 (Cramér-Rao) 定理, 就是

对满足某种性质的总体分布类型, 事先得到参数 $g\left(\theta \right)$ 的无偏估计量方差的下界, 如果找到的无偏估计量 $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 的方差已达到该下界, 那么 $T_0\left(X_1,X_2,\cdots ,X_n\right)$ 就是 $g\left(\theta \right)$ 的最有效估计量了.

再比如, 对于总体的分布为指数分布族, 通过寻找充分完备统计量, 可以达到寻找一致最小方差无偏估计量的目的.

我们熟悉的分布 $\mathrm{Exp}\left(\lambda \right)$, $\mathrm{Pois}\left(\lambda \right)$, $B\left(n,p\right)$ 和 $N\left(\mu ,{\sigma }^2\right)$ 等都属指数分布族, 其参数的最大似然估计量 (对这些分布,矩法估计量与最大似然估计量相同), 都是一致最小方差无偏估计量.

另外, 需要指出的是, 虽然无偏性是对估计量的直观合理的要求. 但是下面的例 7.2.2 表明, 在有些情况下, 一个无偏估计量也许是具有 “很大偏差” 的.

• 例 7.2.2 (泊松分布函数的无偏估计量构造示例)
• 2.6
• 2.7
• 2.8