知识要点 1. 点估计

1. 点估计

设 $\theta$ 是总体 $X$ 的未知参数,用统计量 $\hat{\theta }=\hat{\theta }\left(X_1,X_2,\cdots ,X_n\right)$ 来估计 $\theta$,称 $\hat{\theta }$ 为 $\theta$ 的估计量. 对于样本的一组观察值 $x_1,x_2,\cdots ,x_n$,代入 $\hat{\theta }$ 的表达式中所得的具体数值称为 $\theta$ 的估计值. 这样的方法称为参数的点估计.

2. 矩估计

用样本矩去估计相应总体矩, 或者用样本矩的函数去估计总体矩的同一函数的估计方法就是矩估计.

设总体 $X$ 的概率分布含有 $m$ 个未知参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$,假定总体的 $k$ 阶原点矩存在,记 ${\mu }_k=$ $E\left(X^k\right)\left(k=1,2,\cdots ,m\right),A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$ 为样本 $k$ 阶矩,令

$${\mu }_k\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)=A_k\left(k=1,2,\cdots ,m\right),$$

则此方程组的解 $\left({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_m\right)$ 称为参数 $\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)$ 的矩估计量. 矩估计量的观察值称为矩估计值.

3. 最大似然估计 (极大似然估计)

(1)设总体 $X$ 的概率分布为 $p\left(x;\theta \right)$ (当 $X$ 为连续型时,其为概率密度函数,当 $X$ 为商散型时,其为分布律), $\theta =\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)$ 为未知参数, $x_1,\cdots ,x_n$ 为样本观察值.

$$L\left(x_1,\cdots ,x_n,\theta \right)=\prod _{i=1}^{n}p\left(x_i;\theta \right)=L\left(\theta \right),$$

称为 $\theta$ 的似然函数.

( 2 )对给定的 $x_1,\cdots ,x_n$,使似然函数达到最大值的 $\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 称为 $\theta$ 的最大似然估计值, 相应地 $\hat{\theta }\left(X_1,\cdots ,X_n\right)$ 称为 $\theta$ 的最大似然估计量.

(3)最大似然估计的常用求解方法. 由于 $\ln L\left(\theta \right)$ 与 $L\left(\theta \right)$ 有相同的最大值点,若 $L\left(\theta \right)$ 可导, 则可由方程组

$$\frac{\partial \ln L\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)}{\partial {\theta }_i}=0\left(i=1,2,\cdots ,m\right),$$

求出 ${\theta }_i$ 的最大似然估计量,需注意的是这一方法并不都是有效的,对于有些似然函数,其驻点或导数不存在, 这时应考虑其他方法求似然函数的最大值点.