题型2 求最大似然估计

方法与技巧

求最大似然估计的一般步骤为:

1. 构造似然函数；
2. 求似然函数的最大值点,此即所求最大似然估计.

求最大似然估计的三种情形:

1. 解极大似然方程(组);
2. 利用定义 $L\left(\hat{\theta }\right)=\max L\left(\theta \right)$;
3. 按照极大似然的不变性.

1.5

设总体 $X$ 的概率密度为

$$f\left(x;\lambda \right)=\{\begin{array}{ll}\lambda \alpha x^{\alpha -1}{\mathrm{e}}^{-\lambda x^{\alpha }},& \text{ 若 }x>0\\ 0,& \text{ 若 }x\le 0\end{array}$$

其中 $\lambda >0$ 是未知参数, $\alpha >0$ 是已知常数, 根据来自总体 $X$ 的简单随机样本 $X_1,X_2,\cdots ,X_n$, 求 $\lambda$ 的最大似然估计量 $\hat{\lambda }$.

分析

求最大似然估计关键是要确定似然函数.

解

由已知条件可得似然函数为

$$L\left(x_1,x_2,\cdots ,x_n;\lambda \right)=\prod _{i=1}^{n}f\left(x_i;\lambda \right)={\left(\lambda \alpha \right)}^n{\mathrm{e}}^{-\lambda \sum _{i=1}^n{x}_i^{\alpha }}\prod _{i=1}^n{x}_i^{\alpha -1}.$$

当 $x_i>0$ 时, $L>0$,且有

$$\ln L=n\ln \left(\lambda \alpha \right)+\ln \prod _{i=1}^n{x}_i^{\alpha -1}-\lambda \sum _{i=1}^n{x}_i^{\alpha },$$

根据对数似然方程

$$\frac{\mathrm{d}\ln L}{\mathrm{d}\lambda }=\frac{n}{\lambda }-\sum _{i=1}^n{x}_i^{\alpha }=0,$$

解得 $\lambda$ 的最大似然估计 $\hat{\lambda }=\frac{n}{\sum _{i=1}^n{x}_i^{\alpha }}$.

则 $\lambda$ 的最大似然估计量为 $\hat{\lambda }=\frac{n}{\sum _{i=1}^n{X}_i^{\alpha }}$.

1.6

设某种元件的使用寿命 $X$ 的概率密度为

$$f\left(x;\theta \right)=\{\begin{array}{ll}2{\mathrm{e}}^{-2\left(x-\theta \right)},& x>\theta \\ 0,& x\le \theta \end{array}$$

其中 $\theta >0$ 为未知参数, 又设 $x_1,x_2,\cdots ,x_n$ 是 $X$ 的一组样本观测值, 求参数 $\theta$ 的最大似然估计值.

分析

多数情况下, 最大似然估计值可以由似然函数的驻点求得, 但是在有些情况下, 似然函数的驻点不存在, 此时, 可以通过参数的取值范围求最大似然估计.

解

由题意知, 似然函数为

$$L\left(\theta \right)=L\left(x_1,x_2,\cdots ,x_n;\theta \right)=\{\begin{array}{ll}{2}^n{\mathrm{e}}^{-2\sum _{i=1}^n\left(x_i-\theta \right)},& x_i>\theta \left(i=1,2,\cdots ,n\right)\\ 0,& \text{ 其他 }\end{array}$$

当 $x_i>0$ 时, $L\left(\theta \right)>0$, 两边取对数

$$\ln L\left(\theta \right)=n\ln 2-2\sum _{i=1}^n\left(x_i-\theta \right),$$

因为 $\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=2n>0$, 所以 $L\left(\theta \right)$ 单调增加.

由于 $\theta$ 要满足 $\theta <x_i\left(i=1,2,\cdots ,n\right)$, 所以当 $\theta$ 取 $x_1,x_2,\cdots ,x_n$ 中的最小值时, $L\left(\theta \right)$ 取最大值.

故 $\theta$ 的最大似然估计值为 $\hat{\theta }=\min \left(x_1,x_2,\cdots ,x_n\right)$.

1.7

设总体 $X$ 的概率分布为

$X$	0	1	2	3
$p$	${\theta }^2$	$2\theta (1-\theta )$	${\theta }^2$	$1-2\theta$
其中 $\theta \left(0<\theta <\frac{1}{2}\right)$ 是未知参数,利用总体 $X$ 的如下样本值

3,1,3,0,3,1,2,3

求 $\theta$ 的矩估计值和最大似然估计值.

分析

矩估计用基本求解方法即可. 对于最大似然估计, 若似然函数出现多个驻点应该根据题意选择.

解

由离散型随机变量的期望公式

$$EX=0\times {\theta }^2+1\times 2\theta \left(1-\theta \right)+2\times {\theta }^2+3\times \left(1-2\theta \right)$$ $$=2\theta -2{\theta }^2+2{\theta }^2+3-6\theta =3-4\theta ,$$

令 $EX=\bar{X}$,而由样本观测值可得

$$\bar{X}=\frac{1}{8}\left(3+1+3+0+3+1+2+3\right)=\frac{1}{8}\times 16=2,$$

所以 $\theta$ 的矩估计值为

$$\hat{\theta }=\frac{1}{4}\left(3-\bar{X}\right)=\frac{1}{4}\left(3-2\right)=\frac{1}{4}.$$

根据题意, 似然函数为

$$L\left(\theta \right)=4{\theta }^6{\left(1-\theta \right)}^2{\left(1-2\theta \right)}^4,$$

两边取对数可得

$$\ln L\left(\theta \right)=\ln 4+6\ln \theta +2\ln \left(1-\theta \right)+4\ln \left(1-2\theta \right),$$ $$\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=\frac{6}{\theta }-\frac{2}{1-\theta }-\frac{8}{1-2\theta }=\frac{24{\theta }^2-28\theta +6}{\theta \left(1-\theta \right)\left(1-2\theta \right)},$$

令 $\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=0$,得 $12{\theta }^2-14\theta +3=0$,解之得 $\theta =\frac{7-\sqrt{13}}{12}$ 或 $\frac{7+\sqrt{13}}{12}$.

因为已知 $0<\theta <\frac{1}{2}$,故 $\theta =\frac{7-\sqrt{13}}{12}$.

因此 $\theta$ 的最大似然估计值为 $\hat{\theta }=\frac{7-\sqrt{13}}{12}$.

1.8

设总体 $X$ 的概率密度为

$$f\left(x;\theta \right)=\{\begin{array}{ll}\theta ,& 0<x<1\\ 1-\theta ,& 1\le x<2\\ 0,& \text{ 其他 }\end{array}$$

其中 $\theta$ 是未知参数 $\left(0<\theta <1\right).X_1,X_2,\cdots ,X_n$ 为来自总体 $X$ 的简单随机样本,记 $N$ 为样本值 $x_1,x_2,\cdots ,x_n$ 中小于 1 的个数. 求

(1) $\theta$ 的矩估计;

(2) $\theta$ 的最大似然估计.

解

(1)

由于

$$\begin{array}{rl}E[X]& ={\int }_{-\infty }^{+\infty }xf(x;\theta )\mathrm{d}x\\ & ={\int }_0^1\theta x\mathrm{d}x+{\int }_1^2(1-\theta )x\mathrm{d}x\\ & =\frac{1}{2}\theta +\frac{3}{2}(1-\theta )\\ & =\frac{3}{2}-\theta .\end{array}$$

令 $\frac{3}{2}-\theta =\bar{X}$ 解得 $\theta =\frac{3}{2}-\bar{X}$. 所以参数 $\theta$ 的矩估计为 $\hat{\theta }=\frac{3}{2}-\bar{X}$.

(2)

似然函数为

$$L\left(\theta \right)=\prod _{i=1}^{n}f\left(x_i;\theta \right)={\theta }^N{\left(1-\theta \right)}^{n-N},$$

取对数, 得

$$\ln L\left(\theta \right)=N\ln \theta +\left(n-N\right)\ln \left(1-\theta \right),$$

两边对 $\theta$ 求导, 得

$$\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=\frac{N}{\theta }-\frac{n-N}{1-\theta }.$$

令 $\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=0$, 得 $\theta =\frac{N}{n}$,

所以 $\theta$ 的最大似然估计为 $\hat{\theta }=\frac{N}{n}$.

1.9

设 $X\sim N\left(\mu ,{\sigma }^2\right)$, $x_1,x_2,\cdots ,x_n$ 为一组样本值, 求参数 $\mu ,{\sigma }^2$ 的极大似然估计.

解

似然函数

$$L\left(\mu ,{\sigma }^2\right)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}}=\frac{1}{{\left(\sqrt{2\pi }\sigma \right)}^n}{\mathrm{e}}^{\frac{\sum {\left(x_i-\mu \right)}^2}{2{\sigma }^2}},$$

两边取对数得

$$\ln L\left(\mu ,{\sigma }^2\right)=-\frac{n}{2}\ln \left(2\pi {\sigma }^2\right)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2,$$

似然方程组为

$$\{\begin{array}{l}\frac{\partial }{\partial \mu }\ln L=\frac{1}{{\sigma }^2}\left(\sum _{i=1}^n{x}_i-n\mu \right)=0,\\ \frac{\partial }{\partial {\sigma }^2}\ln L=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\left({\sigma }^2\right)}^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2=0.\end{array}$$

由前一式解得 $\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{x}$ 代入后一式得 ${\sigma }^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2$ 因此得 $\mu ,{\sigma }^2$ 的最大似然估计量为 $\hat{\mu }=\bar{X}$ ${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2$

它们与相应的矩估计量相同.

1.10

设总体 $X$ 在 $\left[a,b\right]$ 上服从均匀分布, $a,b$ 未知, $x_1,x_2,\cdots ,x_n$ 是一个样本值. 试求 $a$, $b$ 的最大似然估计量.

解

记 $x_{\left(1\right)}=\min \left(x_1,x_2,\cdots ,x_n\right),x_{\left(n\right)}=\max \left(x_1,x_2,\cdots ,x_n\right).X$ 的概率密度是

$$f\left(x;a,b\right)=\{\begin{array}{ll}\frac{1}{b-a},& a\le x\le b\\ 0,& \text{ 其他 }\end{array}$$

由于 $a\le x_1,x_2,\cdots ,x_n\le b$,等价于 $a\le x_{\left(1\right)},x_{\left(n\right)}\le b$. 似然函数为

$$L\left(a,b\right)=\frac{1}{{\left(b-a\right)}^n},a\le x_{\left(1\right)},b\ge x_{\left(n\right)},$$

于是对于满足条件 $a\le x_{\left(1\right)},b\ge x_{\left(n\right)}$ 的任意 $a,b$ 有

$$L\left(a,b\right)=\frac{1}{{\left(b-a\right)}^n}\le \frac{1}{{\left(x_{\left(n\right)}-x_{\left(1\right)}\right)}^n},$$

即 $L\left(a,b\right)$ 在 $a=x_{\left(1\right)},b=x_{\left(n\right)}$ 时取到最大值 ${\left(x_{\left(n\right)}-x_{\left(1\right)}\right)}^{-n}$. 故 $a,b$ 的最大似然估计值为

$$\hat{a}=x_{\left(1\right)}=\min \underset{1\le i\le n}{\mathrm{n}}{x}_i,\hat{b}=x_{\left(n\right)}=\max x_i.$$

$a,b$ 的最大似然估计量为 $\hat{a}=\min \underset{1\le i\le n}{\mathrm{n}}{X}_i,\hat{b}=\max \underset{1\le i\le n}{\mathrm{x}}{X}_i$.

1.11

(1) 设 $X_1,X_2,\cdots ,X_n$ 是来自概率密度为

$$f\left(x;\theta \right)=\{\begin{array}{ll}\theta x^{\theta -1},& 0<x<1\\ 0,& \text{ 其他 }\end{array}$$

的总体样本, $\theta$ 未知,求 $U={\mathrm{e}}^{-\frac{1}{\theta }}$ 的最大似然估计值.

(2) 设 $X_1,X_2,\cdots ,X_n$ 是来自正态总体 $N\left(\mu ,1\right)$ 的样本. $\mu$ 未知,求 $\theta =P\{X>2\}$ 的最大似然估计值.

解

(1)

先求 $\theta$ 的最大似然估计. 似然函数为

$$L\left(\theta \right)=\prod _{i=1}^n\theta x_i^{\theta -1}={\theta }^n{\left(\prod _{i=1}^n{x}_i\right)}^{\theta -1},$$ $$\ln L\left(\theta \right)=n\ln \theta +\left(\theta -1\right)\ln \left(\prod _{i=1}^n{x}_i\right).$$

令

$$\frac{\mathrm{d}\ln L\left(\theta \right)}{\mathrm{d}\theta }=\frac{n}{\theta }+\sum _{i=1}^n\ln x_i=0,$$

得 $\theta$ 的最大似然估计值为

$$\hat{\theta }=\frac{-n}{\sum _{i=1}^n\ln x_i}.$$

$U={\mathrm{e}}^{-\frac{1}{\theta }}$ 具有单调反函数, 故由最大似然估计的不变性知 $U$ 的最大似然估计值为

$$\hat{U}={\mathrm{e}}^{-\frac{1}{\hat{\theta }}}={\mathrm{e}}^{\frac{\sum _{i=1}^n\ln x_i}{n}}.$$

(2)

已知 $\mu$ 的最大似然估计为 $\hat{\mu }=\bar{x}$. 而 $\theta =P\{X>2\}=1-P\{X\le 2\}=1-\Phi \left(2-\mu \right)$ 具有单调反函数. 由最大似然估计的不变性得 $\theta =P\{X>2\}$ 的最大似然估计值为

$$\hat{\theta }=1-\Phi \left(2-\hat{\mu }\right)=1-\Phi \left(2-\bar{x}\right).$$

点评

最大似然估计的不变性:

如果 $\hat{\theta }$ 是 $\theta$ 的最大似然估计,则对 $\theta$ 的任一函数 $g\left(\theta \right)$,其最大似然估计为 $g\left(\hat{\theta }\right)$.