克拉默 - 拉奥 (Cramér-Rao) 定理

背景与目的

在参数的点估计中，我们希望找到“最优”的估计量。评价估计量好坏的标准有很多，其中两个重要的标准是：

1. 无偏性 (Unbiasedness): 估计量的期望等于参数真值，即 $E[\hat{\theta }]=\theta$。
2. 有效性 (Efficiency): 在所有无偏估计量中，方差最小。方差越小，表示估计量越稳定，围绕真值的波动越小。

克拉默-拉奥定理正是为无偏估计量的方差提供了一个理论上的下界 (Lower Bound)。它告诉我们，无论我们构造出多么巧妙的无偏估计量，其方差都不可能低于这个界限。 这个界限被称为克拉默-拉奥下界 (Cramér-Rao Lower Bound, CRLB)。

定理陈述 (单参数情况)

假设：

1. $X=(X_1,X_2,...,X_n)$ 是来自概率密度函数 (或概率质量函数) 为 $f(x;\theta )$ 的总体的随机样本，其中 $\theta$ 是待估计的未知参数。
2. $\hat{\theta }=\hat{\theta }(X_1,...,X_n)$ 是 $\theta$ 的任意一个无偏估计量，即满足 $E[\hat{\theta }]=\theta$。
3. 满足一定的正则条件 (Regularity Conditions)。这些条件通常涉及 $f(x;\theta )$ 对 $\theta$ 的可微性，以及积分/求和与微分运算的可交换性等，确保了费雪信息量的定义和后续推导的有效性。

则，该无偏估计量 $\hat{\theta }$ 的方差满足如下不等式： $Var(\hat{\theta })\ge \frac{1}{I(\theta )}$

其中，$I(\theta )$ 被称为参数 $\theta$ 的 费雪信息量 (Fisher Information)。

费雪信息量 $I(\theta )$

费雪信息量 $I(\theta )$ 衡量了样本数据 $X$ 中包含的关于未知参数 $\theta$ 的信息量。 信息量越大，我们对 $\theta$ 的推断就可能越精确（即估计量的方差可能越小）。 对于来自样本容量为 $n$ 的随机样本 $X=(X_1,...,X_n)$，其总的费雪信息量 $I(\theta )$ (有时写作 $I_n(\theta )$) 有两种等价的计算方式：

1. 基于对数似然函数 (Log-likelihood function) $l(\theta |X)=\ln L(\theta |X)={\sum }_{i=1}^n\ln f(X_i;\theta )$ 的一阶导数（称为得分函数 Score function）： $I(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }l(\theta |X)\right)}^2\right]$ 它表示得分函数平方的期望值。 得分函数本身 $U(\theta )=\frac{\partial }{\partial \theta }l(\theta |X)$ 的期望为 0 ($E[U(\theta )]=0$)，而其方差 $Var(U(\theta ))=E[U(\theta {)}^2]-(E[U(\theta )]{)}^2=E[U(\theta {)}^2]$ 正好就是费雪信息量。

2. 基于对数似然函数的二阶导数： $I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}l(\theta |X)\right]$ 它表示对数似然函数二阶导数的期望值的负数。

• 对于独立同分布 (i.i.d.) 的样本 $X_1,...,X_n$，总的费雪信息量是单个观测值费雪信息量 $I_1(\theta )$ 的 $n$ 倍： $I(\theta )=n\cdot I_1(\theta )$ 其中 $I_1(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }\ln f(X_1;\theta )\right)}^2\right]=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X_1;\theta )\right]$。 因此，克拉默-拉奥下界也可以写成： $Var(\hat{\theta })\ge \frac{1}{n{I}_1(\theta )}$

定理的意义与应用

1. 设定了无偏估计方差的极限： CRLB 给出了任何无偏估计量所能达到的最佳方差（最低方差）。任何无偏估计量的方差都不可能比 $\frac{1}{I(\theta )}$ 更小。
2. 评价估计量的效率： 我们可以计算某个无偏估计量 $\hat{\theta }$ 的实际方差 $Var(\hat{\theta })$，并将其与 CRLB 进行比较。
   • 效率 (Efficiency) 定义为： $eff(\hat{\theta })=\frac{CRLB}{Var(\hat{\theta })}=\frac{1/I(\theta )}{Var(\hat{\theta })}$。效率总是在 0 和 1 之间 ($0\le eff(\hat{\theta })\le 1$)。
   • 如果一个无偏估计量 $\hat{\theta }$ 的方差恰好达到了克拉默-拉奥下界，即 $Var(\hat{\theta })=\frac{1}{I(\theta )}$ (或 $eff(\hat{\theta })=1$)，则称这个估计量是有效的 (Efficient)。
   • 有效的估计量是在所有无偏估计量中方差最小的，因此通常被认为是“最优”的无偏估计量。这样的估计量也被称为最小方差无偏估计量 (Minimum Variance Unbiased Estimator, MVUE)。
3. 寻找最优估计量： 定理本身不直接给出如何找到方差达到下界的估计量，但它提供了一个目标。如果能找到一个无偏估计量，并证明其方差等于 CRLB，那么就可以确定它是一个 MVUE。
4. 与极大似然估计 (MLE) 的联系： 在满足正则条件下，极大似然估计量 ${\hat{\theta }}_{MLE}$ 具有渐近有效性 (Asymptotic Efficiency)。这意味着当样本量 $n\to \infty$ 时，${\hat{\theta }}_{MLE}$ 是渐近无偏的，并且其方差趋近于克拉默-拉奥下界。虽然在有限样本下 MLE 不一定是无偏的，也不一定达到 CRLB，但它通常是构造高效估计量的重要方法。

有效估计量 (Efficient Estimator)

• 一个无偏估计量 $\hat{\theta }$ 如果其方差 $Var(\hat{\theta })$ 对所有的 $\theta$ 都等于克拉默-拉奥下界 $\frac{1}{I(\theta )}$，则称 $\hat{\theta }$ 是（一致）有效的估计量。
• 是否存在有效的估计量取决于具体的分布族和参数。
• 一个估计量能成为有效估计量的充要条件是：得分函数 $U(\theta )=\frac{\partial }{\partial \theta }l(\theta |X)$ 可以被写成 $\theta$ 的一个线性函数，即 $U(\theta )=A(\theta )(\hat{\theta }(X)-\theta )$，其中 $A(\theta )$ 可能依赖于 $\theta$ 但不依赖于样本 $X$。

正则条件 (简述)

定理的成立需要一些技术性的正则条件，主要确保：

• 参数空间 $\Theta$ 是开集。
• 概率密度函数 $f(x;\theta )$ 对 $\theta$ 可微。
• 积分（或求和）与对 $\theta$ 的微分运算可以交换顺序。
• 费雪信息量 $I(\theta )$ 存在且为正。
• 支撑集 $\{x|f(x;\theta )>0\}$ 不依赖于 $\theta$。

总结

克拉默-拉奥定理是参数估计理论的基石之一。它通过费雪信息量定义了一个无偏估计量方差的理论下限 (CRLB)，为评价和寻找最优（最小方差）无偏估计量提供了重要的基准。方差能达到该下界的无偏估计量被称为有效估计量 (MVUE)。