概率基础——极大似然估计

2024-03-05 15:52

本文主要是介绍概率基础——极大似然估计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概率基础——极大似然估计

引言

极大似然估计(Maximum Likelihood Estimation,简称MLE)是统计学中最常用的参数估计方法之一,它通过最大化样本的似然函数来估计参数值,以使得样本出现的概率最大化。极大似然估计在各个领域都有着广泛的应用,例如机器学习、生物统计学、金融等。本文将介绍极大似然估计的理论基础、公式推导过程,并通过案例和Python代码进行实现和模拟,以帮助读者更好地理解这一重要的概率基础知识。

理论及公式

极大似然估计的基本思想

极大似然估计的基本思想是:在给定样本的情况下,找到一个参数值,使得观察到这个样本的概率最大。假设我们有一个参数为 θ \theta θ的模型,记为 P ( X ∣ θ ) P(X|\theta) P(Xθ),其中 X X X是样本, θ \theta θ是参数。那么, θ \theta θ的极大似然估计 θ ^ \hat{\theta} θ^可以通过最大化似然函数 L ( θ ) L(\theta) L(θ)来求得,即:

θ ^ = arg ⁡ max ⁡ θ L ( θ ) \hat{\theta} = \underset{\theta}{\arg \max} \, L(\theta) θ^=θargmaxL(θ)

似然函数

似然函数 L ( θ ) L(\theta) L(θ)表示在给定参数 θ \theta θ 下观察到样本 X X X的概率密度函数(或概率质量函数)的乘积。对于连续型随机变量,似然函数通常表示为概率密度函数的连乘积;对于离散型随机变量,似然函数通常表示为概率质量函数的连乘积。

对数似然函数

在实际应用中,通常使用对数似然函数(Log-Likelihood Function)来简化计算,因为连乘积的求导相对繁琐,而连加的求导更加简单。对数似然函数 ℓ ( θ ) \ell(\theta) (θ) 定义为似然函数的自然对数:

ℓ ( θ ) = log ⁡ L ( θ ) \ell(\theta) = \log L(\theta) (θ)=logL(θ)

极大似然估计的求解

要找到极大似然估计 θ ^ \hat{\theta} θ^,我们需要对对数似然函数 ℓ ( θ ) \ell(\theta) (θ)求导,并令导数等于零,求解得到的解即为估计值。

d ℓ ( θ ) d θ = 0 \frac{d\ell(\theta)}{d\theta} = 0 dθd(θ)=0

例子

下面我们通过一个简单的例子来说明极大似然估计的应用。假设我们有一个硬币,想要估计出正面朝上的概率 p p p。我们连续地抛掷这个硬币,观察到正面朝上 k k k次,总共抛掷了 n n n 次。我们希望通过这些观察结果来估计正面朝上的概率 p p p

案例

极大似然估计硬币的正面朝上概率

假设我们连续抛掷一个硬币10次,观察到有7次正面朝上和3次反面朝上。我们想要估计出正面朝上的概率 ( p )。根据二项分布的概率密度函数,我们可以得到似然函数:

L ( p ) = ( 10 7 ) p 7 ( 1 − p ) 3 L(p) = \binom{10}{7} p^7 (1-p)^3 L(p)=(710)p7(1p)3

我们可以求得对数似然函数:

ℓ ( p ) = log ⁡ L ( p ) = log ⁡ ( 10 7 ) + 7 log ⁡ p + 3 log ⁡ ( 1 − p ) \ell(p) = \log L(p) = \log \binom{10}{7} + 7 \log p + 3 \log (1-p) (p)=logL(p)=log(710)+7logp+3log(1p)

接下来,我们对对数似然函数求导,并令导数等于零,求解得到的解即为估计值 p ^ \hat{p} p^

Python模拟与绘图

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize_scalar# 定义对数似然函数
def log_likelihood(p, n, k):return np.log(np.math.comb(n, k)) + k * np.log(p) + (n - k) * np.log(1 - p)# 定义负对数似然函数(因为 minimize_scalar 函数寻找最小值)
def neg_log_likelihood(p, n, k):return -log_likelihood(p, n, k)# 模拟抛硬币实验
n_trials = 10  # 抛硬币的总次数
k_heads = 7  # 正面朝上的次数# 最大化对数似然函数来估计正面朝上的概率
result = minimize_scalar(neg_log_likelihood, args=(n_trials, k_heads), bounds=(0, 1), method='bounded')
estimated_p = result.x# 绘制结果
p_values = np.linspace(0, 1, 100)
likelihoods = [np.exp(log_likelihood(p, n_trials, k_heads)) for p in p_values]plt.plot(p_values, likelihoods)
plt.axvline(x=estimated_p, color='r', linestyle='--', label='Estimated p: {:.3f}'.format(estimated_p))
plt.xlabel('p')
plt.ylabel('Likelihood')
plt.title('Likelihood Function')
plt.legend()
plt.show()

在这里插入图片描述

以上代码首先定义了对数似然函数和负对数似然函数,然后利用 minimize_scalar 函数来最大化对数似然函数,并求解得到正面朝上概率 p ^ = 0.7 \hat{p}=0.7 p^=0.7。根据图像可以看出,估计的概率密度函数与观测数据的分布情况较为吻合。

结论

通过本文的介绍,我们了解了极大似然估计的基本理论、推导过程,并通过一个案例演示了如何使用Python实现对极大似然估计的模拟,并绘制出相应的图像进行说明。

这篇关于概率基础——极大似然估计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/777028

相关文章

hdu4865(概率DP)

题意:已知前一天和今天的天气概率,某天的天气概率和叶子的潮湿程度的概率,n天叶子的湿度,求n天最有可能的天气情况。 思路:概率DP,dp[i][j]表示第i天天气为j的概率,状态转移如下:dp[i][j] = max(dp[i][j, dp[i-1][k]*table2[k][j]*table1[j][col] )  代码如下: #include <stdio.h>#include

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close

音视频入门基础:WAV专题(10)——FFmpeg源码中计算WAV音频文件每个packet的pts、dts的实现

一、引言 从文章《音视频入门基础:WAV专题(6)——通过FFprobe显示WAV音频文件每个数据包的信息》中我们可以知道,通过FFprobe命令可以打印WAV音频文件每个packet(也称为数据包或多媒体包)的信息,这些信息包含该packet的pts、dts: 打印出来的“pts”实际是AVPacket结构体中的成员变量pts,是以AVStream->time_base为单位的显

C 语言基础之数组

文章目录 什么是数组数组变量的声明多维数组 什么是数组 数组,顾名思义,就是一组数。 假如班上有 30 个同学,让你编程统计每个人的分数,求最高分、最低分、平均分等。如果不知道数组,你只能这样写代码: int ZhangSan_score = 95;int LiSi_score = 90;......int LiuDong_score = 100;int Zhou

c++基础版

c++基础版 Windows环境搭建第一个C++程序c++程序运行原理注释常亮字面常亮符号常亮 变量数据类型整型实型常量类型确定char类型字符串布尔类型 控制台输入随机数产生枚举定义数组数组便利 指针基础野指针空指针指针运算动态内存分配 结构体结构体默认值结构体数组结构体指针结构体指针数组函数无返回值函数和void类型地址传递函数传递数组 引用函数引用传参返回指针的正确写法函数返回数组

【QT】基础入门学习

文章目录 浅析Qt应用程序的主函数使用qDebug()函数常用快捷键Qt 编码风格信号槽连接模型实现方案 信号和槽的工作机制Qt对象树机制 浅析Qt应用程序的主函数 #include "mywindow.h"#include <QApplication>// 程序的入口int main(int argc, char *argv[]){// argc是命令行参数个数,argv是

【MRI基础】TR 和 TE 时间概念

重复时间 (TR) 磁共振成像 (MRI) 中的 TR(重复时间,repetition time)是施加于同一切片的连续脉冲序列之间的时间间隔。具体而言,TR 是施加一个 RF(射频)脉冲与施加下一个 RF 脉冲之间的持续时间。TR 以毫秒 (ms) 为单位,主要控制后续脉冲之前的纵向弛豫程度(T1 弛豫),使其成为显著影响 MRI 中的图像对比度和信号特性的重要参数。 回声时间 (TE)

Java基础回顾系列-第七天-高级编程之IO

Java基础回顾系列-第七天-高级编程之IO 文件操作字节流与字符流OutputStream字节输出流FileOutputStream InputStream字节输入流FileInputStream Writer字符输出流FileWriter Reader字符输入流字节流与字符流的区别转换流InputStreamReaderOutputStreamWriter 文件复制 字符编码内存操作流(