7.1.2 最大似然估计

参数的最大似然估计的想法基于大家普遍接受的一个事实, 这个事实为 “小概率事件在一次试验中几乎不可能发生”. 换言之, 在一次试验中发生的事件, 其发生的概率应该比较大. 所以, 若总体 $X\sim F_X\left(\cdot ,\theta \right)$, 当我们有了一组样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 时, $\theta$ 的取值应该使得样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 出现的可能性较大. 为确定出 $\theta$ 的具体估计量, 我们要求 $\theta$ 的取值应该使得样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 出现的可能性达到最大.

我们以总体 $X$ 为连续型随机变量的情形来解释如何得到参数的最大似然估计.

定义 (似然函数, likelihood function)

设 $X$ 的分布密度函数为 $f_X\left(\cdot ,\theta \right)$, 大家知道, 若 $f_X\left(x,\theta \right)$ 在 $x=x_0$ 处取值较大, 则 $X$ 取值为 $x_0$ 附近的概率也较大. 于是我们要求 $\theta$ 的取值使得 $\left(X_1,X_2,\cdots ,X_n\right)$ 的联合密度函数在样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 处取到最大. 记 $\left(X_1,X_2,\cdots ,X_n\right)$ 的联合密度函数为 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$, 则由 命题 6.1.1 (样本联合分布的形式与独立同分布假设) 知,

$$L\left(x_1,x_2,\cdots ,x_n;\theta \right)=\prod _{i=1}^n{f}_X\left(x_i,\theta \right).\text{\hspace{1em}(7.1.4)}$$

我们称 $L$ 为 $X$ 的似然函数.

Link to original

至此,

最大似然估计量

我们将求参数 $\theta$ 的最大似然估计的问题, 归结为在已有样本观测值 $\left(x_1,x_2,\cdots ,x_n\right)$ 前提下, 寻求 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$ 的最大值点 $\theta$ 的问题. 记该最大值点为 $\theta =T\left(x_1,x_2,\cdots ,x_n\right)$, 则 $\theta$ 的 最大似然估计量 就为

$${\hat{\theta }}_L=T\left(X_1,X_2,\cdots ,X_n\right).\text{\hspace{1em}(7.1.5)}$$Link to original

最大似然估计量求解

为了求得 $L\left(x_1,x_2,\cdots ,x_n;\theta \right)$ 的最大值点,往往通过求它的驻点. 即关于 $\theta$ 的导数为 0 的点, 但 (7.1.4) 为 $n$ 个函数的乘积,求导比较繁琐. 通常可利用对数函数 $\ln$ 的单调性, 将问题转化为求 $\ln \left(L\left(x_1,x_2,\cdots ,x_n;\theta \right)\right)$ 的最大值点.

Link to original

• 方法与技巧
• 例 7.1.5 (液晶电视机寿命的最大似然估计方法)
• 例 7.1.6 (广州暴雨天数的最大似然估计方法)
• 例 7.1.7 (液晶屏亮点分布端点的最大似然估计与矩估计)
• 1.6
• 1.9