5. 数理统计---极大似然估计

本文主要是介绍5. 数理统计---极大似然估计，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这里写自定义目录标题

5.极大似然估计
- 5.1 似然函数定义
- 5.2 极大似然估计定义
- 5.3 极大似然估计求解的一般过程
- 5.4 极大似然估计的不变性

5.极大似然估计

Fisher的极大似然思想: 随机试验有多个可能结果, 但在一次实验中, 有且只有一个结果会出现. 如果在某次实验中, 结果 $\omega$ 出现了, 则认为该结果(事件{ $\omega$ })发生的概率 $P\{\omega\}$ 最大.

假设总体 $X$ 是离散随机变量, 其分布律为:
$P\{X=a_k\}=p_k(\theta)(k=1, 2, ...)$
其中 $\theta(\theta\in \Theta)$ 是未知参数.
$X_1, X_2, ..., X_n$ 是来自总体 $X$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. 即事件 ${X_1=x_1, X_2=x_2, ..., X_n=x_n\}$ 发生了.
由Fisher的极大似然思想可以得到, 概率: $P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}$ 最大.

$\begin{aligned} &P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}\\ &=P\{X_1=x_1\}P\{X_2=x_2\}\cdots P\{X_n=x_n\}\\ &=P\{X=x_1\}P\{X=x_2\}\cdots P\{X=x_n\}=L(\theta) \end{aligned}$

5.1 似然函数定义

定义1:
设 $X_1, X_2, ..., X_n$ 是来自总体 $X$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值.

若X是离散型总体, 其分布律为:
$P\{X=a_k\}=p_k(\theta)\\(k=1,2,...)$
令 $L(\theta)=L(\theta; x_1,x_2,...,x_n)=\prod_{i=1}^{n}P\{X_i=x_i\}, \theta\in \Theta$
若X是连续型总体, 其密度为 $f(x;\theta)$ .
令 $L(\theta)=L(\theta; x_1,x_2,...,x_n)=\prod_{i=1}^{n}f(x_i;\theta), \theta\in \Theta$
称 $L(\theta)$ 为似然函数

例子1: 设 $X_1, X_2, ..., X_n$ 是来自总体 $X\sim B(1,p)$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. $p$ 是未知参数. 试写出似然函数.
解: $P\{X=x\}=p^x(1-p)^{1-x}$ 其中 $x\in \{0,1\}$
$\begin{aligned} L(p)&=\prod_{i=1}^nP\{X_i=x_i\}\\ &=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\ &=p^{n\bar x}(1-p)^{n(1-\bar x)} \end{aligned}$

例子2: 设 $X_1, X_2, ..., X_n$ 是来自总体 $X\sim N(\mu,\sigma^2)$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. $\mu,\sigma^2$ 是未知参数. 试写出似然函数.
**解:**正态分布的密度函数 $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
则似然函数可以写为:
$\begin{aligned} L(\mu,\sigma^2)&=\prod_{i=1}^nf(x_i)\\ &=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ &=(\frac{1}{\sqrt{2\pi}})^n(\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2} \end{aligned}$

5.2 极大似然估计定义

定义2
设 $X_1, X_2, ..., X_n$ 是来自总体 $X$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. $L(\theta)(\theta\in\Theta)$ 是似然函数. 若存在统计量 $\hat \theta=\hat\theta(x_1,x_2,\cdots,x_n)$ 使得:
$L(\hat\theta)=\sup_{\theta\in\Theta}L(\theta)$
则称 $\hat \theta=\hat\theta(X_1,X_2,\cdots,X_n)$ 为 $\theta$ 的极大似然估计量, 简记为MLE(Maximum Likehood Estimate)

5.3 极大似然估计求解的一般过程

根据总体分布的表达式, 写出似然函数:
$L(\theta_1,\theta_2,\cdots,\theta_m)\qquad(\theta=(\theta_1,\theta_2,\cdots,\theta_m)\in\Theta)$
因为 $L(\theta_1,\theta_2,\cdots,\theta_m)$ 与 $\ln L(\theta_1,\theta_2,\cdots,\theta_m)$ 有相同的极值点, 称 $\ln L(\theta_1,\theta_2,\cdots,\theta_m)$ 为对数似然函数, 记为 $l(\theta_1,\theta_2,\cdots,\theta_m)$ . 求出 $l(\theta_1,\theta_2,\cdots,\theta_m)$
求出 $l(\theta_1,\theta_2,\cdots,\theta_m)$ 的极大值点 $\hat \theta_1,\hat \theta_2,\cdots,\hat \theta_n$ , 即为 $\theta_1,\theta_2,\cdots,\theta_m$ 的MLE

说明:
若 $l(\theta_1,\theta_2,\cdots,\theta_m)$ 关于 $\theta_i(i=1,2,\cdots,m)$ 可导, 则称:
$\left\{\begin{aligned} &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0\\ &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0\\ &\vdots\\ &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0 \end{aligned} \right.$
为对数似然方程组.

例子3: 设 $X_1, X_2, ..., X_n$ 是来自总体 $X\sim B(1,p)$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. $p$ 是未知参数. 试写出极大似然估计.
解: $P\{X=x\}=p^x(1-p)^{1-x}$ 其中 $x\in \{0,1\}$
$\begin{aligned} L(p)&=\prod_{i=1}^nP\{X_i=x_i\}\\ &=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\ &=p^{n\bar x}(1-p)^{n(1-\bar x)} \end{aligned}$
则对数似然函数为:
$l(p)=\ln L(p)=n\bar x\ln p+n(1-\bar x)\ln(1-p)$
对 $l (p)$ 求导:
$\begin{aligned} \frac{dl(p)}{dp}&=n\bar x\frac{1}{p}-n(1-\bar x)\frac{1}{1-p}=0\\ &\Rightarrow n\bar x(1-p)-n(1-\bar x)p=0\\ &\Rightarrow n\bar x-np=0\\ &\Rightarrow \hat p=\bar x \end{aligned}$

例子4: 设 $X_1, X_2, ..., X_n$ 是来自总体 $X\sim N(\mu,\sigma^2)$ 的样本, $x_1, x_2, ..., x_n$ 是样本的观测值. $\mu,\sigma^2$ 是未知参数. 试写出似然函数.
**解:**正态分布的密度函数 $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
则似然函数可以写为:
$\begin{aligned} L(\mu,\sigma^2)&=\prod_{i=1}^nf(x_i)\\ &=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ &=(\frac{1}{\sqrt{2\pi}})^n(\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2} \end{aligned}$
则对数似然函数为:
$l(\mu,\sigma^2)=-\frac{n}{2}\ln{2\pi}-\frac{n}{2}\ln \sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2$
求导可得:
$\begin{aligned} \frac{\partial l}{ \partial \mu}&=\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu)=0\\ \frac{\partial l}{ \partial \sigma^2}&=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^{n}(x_i-\mu)^2=0\\ &\Rightarrow \hat \mu=\frac{1}{n}\sum_{i=1}^{n}x_i=\bar x\\ &\Rightarrow \hat \sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^2 \end{aligned}$

5.4 极大似然估计的不变性

定理: 设 $\hat \theta$ 是 $\theta$ 的极大似然估计, $u=u(\theta)$ 是函数 $\theta$ 的函数, 且有单值反函数:
$\theta=\theta(u)$
则 $u(\hat \theta)$ 是u的极大似然估计

例子5: 假设袋中有黑球和白球, 其中白球所占比例为 $p (0 < p < 1)$ 未知. 每次有放回的从袋中随机摸取一个求出来观测其颜色后放回, 共摸了m个球, 其中白球的个数记为 $X$ . 共重复了n次这样的试验, 得到样本观察值为 $x_1, x_2, \cdots, x_n$ , 试求:

$p$ 的极大似然估计
袋中白球和黑球之比R的极大似然估计
解:
(1) 总体的分布为: $X\sim B(m,p)$
所以似然函数为:
$\begin{aligned} L(p)&=\prod_{i=1}^{n}P\{X_i=x_i\}=\prod_{i=1}^n\begin{pmatrix}m \\ x_i \\ \end{pmatrix}p^{x_i}(1-p)^{m-x_i}=p^{n\bar x}(1-p)^{n(m-\bar x)}\prod_{i=1}^n\begin{pmatrix}m \\ x_i \\ \end{pmatrix}\\ l(p)&=\ln L(p)=n\bar x\ln p+n(m-\bar x)(1-p)+\ln\prod_{i=1}^{n}\begin{pmatrix}m \\ x_i \\ \end{pmatrix} \end{aligned}$
对于 $l (p)$ 求导, 可得到对数似然方程:
$\begin{aligned} \frac{dl(p)}{dp}&=\frac{n\bar x}{p}-\frac{n(m-\bar x)}{1-p}=0\\ &\Rightarrow \hat p=\frac{\bar x}{m} \end{aligned}$
(2) 由极大似然估计的不变性可得:
$R=\frac{p}{1-p}$
则:
$R=\frac{\hat p}{1-\hat p}=\frac{\bar x}{m-\bar x}$