7.1.2 最大似然估计

参数的最大似然估计的想法基于大家普遍接受的一个事实, 这个事实为 “小概率事件在一次试验中几乎不可能发生”. 换言之, 在一次试验中发生的事件, 其发生的概率应该比较大. 所以,若总体 $X\sim F_X\left(\cdot ,\theta \right)$, 当我们有了一组样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 时, $\theta$ 的取值应该使得样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 出现的可能性较大. 为确定出 $\theta$ 的具体估计量,我们要求 $\theta$ 的取值应该使得样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 出现的可能性达到最大.

我们以总体 $X$ 为连续型随机变量的情形来解释如何得到参数的最大似然估计.

定义 (似然函数)

设 $X$ 的分布密度函数为 $f_X\left(\cdot ,\theta \right)$,大家知道, 若 $f_X\left(x,\theta \right)$ 在 $x=x_0$ 处取值较大,则 $X$ 取值为 $x_0$ 附近的概率也较大. 于是我们要求 $\theta$ 的取值使得 $\left(X_1,X_2,\cdots ,X_n\right)$ 的联合密度函数在样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 处取到最大. 记 $\left(X_1,X_2,\cdots ,X_n\right)$ 的联合密度函数为 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$, 则由命题 6.1.1 知,

$$L\left(x_1,x_2,\cdots ,x_n;\theta \right)=\prod _{i=1}^n{f}_X\left(x_i,\theta \right).\text{\hspace{1em}(7.1.4)}$$

我们称 $L$ 为 $X$ 的似然函数.

Link to original

至此, 我们将求参数 $\theta$ 的最大似然估计的问题, 归结为在已有样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 前提下, 寻求 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$ 的最大值点 $\theta$ 的问题. 记该最大值点为 $\theta =T\left(x_1,x_2,\cdots ,x_n\right)$,则 $\theta$ 的最大似然估计量就为

$${\hat{\theta }}_L=T\left(X_1,X_2,\cdots ,X_n\right).\text{\hspace{1em}(7.1.5)}$$

为了求得 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$ 的最大值点,往往通过求它的驻点. 即关于 $\theta$ 的导数为 0 的点,但 (7.1.4) 为 $n$ 个函数的乘积,求导比较繁琐. 通常可利用对数函数 $\ln$ 的单调性, 将问题转化为求 $\ln \left(L\left(x_1,x_2,\cdots ,x_n;\theta \right)\right)$ 的最大值点.

例 7.1.5 (液晶电视机寿命的最大似然估计方法)

例 7.1.6 (广州暴雨天数的最大似然估计方法)

例 7.1.7 (液晶屏亮点分布端点的最大似然估计与矩估计)