似然概率、先验概率、后验概率和边缘概率

2024-08-26 17:20

本文主要是介绍似然概率、先验概率、后验概率和边缘概率,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

似然概率、先验概率、后验概率和边缘概率是概率论和统计学中的几个重要概念,它们各自具有不同的定义和应用场景。

似然概率

似然概率(Likelihood Probability)或似然函数在统计学中是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率,即L(θ|x)=P(X=x|θ)。简单来说,似然概率就是当我们有一组数据x时,选择某个参数θ使得模型产生这组数据的概率最大。这常用于参数估计,特别是最大似然估计方法中。

先验概率

先验概率(Prior Probability)是指根据以往经验和分析得到的概率。在贝叶斯统计推断中,不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如,先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。先验概率可以是客观的,基于历史数据或统计规律;也可以是主观的,基于专家意见或直觉判断。

后验概率

后验概率(Posterior Probability)是指通过调查或其它方式获取新的附加信息后,利用贝叶斯公式对先验概率进行修正后得到的概率。后验概率反映了在获得新信息后,对某一事件发生的概率的重新评估。在贝叶斯统计中,后验概率是推断的核心,它结合了先验概率和似然概率(或称为证据)来更新对某一事件的信念。

边缘概率

边缘概率(Marginal Probability)是某个事件发生的概率,而与其它事件无关。在多维随机变量的情况下,边缘概率是指某一维随机变量的概率分布,而不考虑其他维的随机变量。例如,在二维随机变量(X,Y)的联合分布中,X的边缘概率分布就是仅考虑X时的概率分布,即P(X=x),而不考虑Y的取值。

总结

概率类型定义应用场景
似然概率给定输出时,关于参数的似然函数参数估计,特别是最大似然估计
先验概率根据以往经验和分析得到的概率贝叶斯统计推断中的初始信念
后验概率通过新信息修正后的先验概率贝叶斯统计推断中的更新信念
边缘概率某个事件发生的概率,与其它事件无关多维随机变量的概率分析中,仅考虑某一维的概率分布

这些概念在概率论、统计学和机器学习中都有着广泛的应用。

在统计学和贝叶斯统计中,似然概率(Likelihood)、先验概率(Prior Probability)、后验概率(Posterior Probability)和边缘概率(Marginal Probability)是核心概念。下面我将用公式和例子来逐一解释这些概念。

1. 似然概率(Likelihood)

似然概率是指在给定参数值下,观测数据出现的概率。它通常表示为 P ( D ∣ θ ) P(D|\theta) P(Dθ),其中 D D D 是观测数据, θ \theta θ 是模型参数。

例子:假设我们有一个抛硬币的实验,其中硬币是不均匀的,正面朝上的概率为 θ \theta θ。我们进行了10次实验,观察到7次正面。那么,在给定 θ \theta θ 的情况下,观测到7次正面的似然概率为:

P ( D ∣ θ ) = ( 10 7 ) θ 7 ( 1 − θ ) 3 P(D|\theta) = \binom{10}{7} \theta^7 (1-\theta)^3 P(Dθ)=(710)θ7(1θ)3

2. 先验概率(Prior Probability)

先验概率是在进行任何观测或实验之前,对某个事件或参数的概率估计。它表示为 P ( θ ) P(\theta) P(θ)

例子:在抛硬币的例子中,如果我们没有任何关于硬币的信息,我们可以假设 θ \theta θ(硬币正面朝上的概率)的先验分布是均匀的,即 P ( θ ) = 1 P(\theta) = 1 P(θ)=1(在 [ 0 , 1 ] [0, 1] [0,1] 区间内均匀分布,但这里为了简化,我们假设它是一个单点分布的近似)。

3. 后验概率(Posterior Probability)

后验概率是在给定观测数据后,对某个事件或参数的概率估计。它使用贝叶斯公式计算,表示为 P ( θ ∣ D ) P(\theta|D) P(θD)

例子:继续使用抛硬币的例子,如果我们观测到7次正面,我们可以使用贝叶斯公式来计算 θ \theta θ 的后验概率:

P ( θ ∣ D ) = P ( D ∣ θ ) P ( θ ) P ( D ) P(\theta|D) = \frac{P(D|\theta) P(\theta)}{P(D)} P(θD)=P(D)P(Dθ)P(θ)

其中 P ( D ) P(D) P(D) 是边缘概率(见下文),但在实际计算中,我们通常会忽略 P ( D ) P(D) P(D)(因为它是一个常数,不影响 θ \theta θ 的后验分布的形状),而只关注 P ( D ∣ θ ) P ( θ ) P(D|\theta) P(\theta) P(Dθ)P(θ) 的乘积。

4. 边缘概率(Marginal Probability)

边缘概率是指某个事件或变量的概率,不考虑与之相关的其他变量。它可以通过对联合概率分布中其他变量求和或积分来得到。

例子:在抛硬币的例子中,如果我们有两个变量,一个是硬币正面朝上的次数 X X X,另一个是抛掷的总次数 N N N,那么 X X X 的边缘概率 P ( X ) P(X) P(X) 可以通过对所有可能的 N N N 求和 P ( X , N ) P(X, N) P(X,N) 来得到。但在我们的简单例子中,我们只关心 θ \theta θ 和观测数据 D D D,所以 P ( D ) P(D) P(D)(即观测到7次正面的概率,不考虑 θ \theta θ 的具体值)就是边缘概率的一个例子。它可以通过对 P ( D ∣ θ ) P ( θ ) P(D|\theta) P(\theta) P(Dθ)P(θ) 在所有可能的 θ \theta θ 上积分(或求和,如果 θ \theta θ 是离散的)来得到。

注意:在实际应用中,由于 P ( D ) P(D) P(D) 是一个常数(对于固定的观测数据 D D D),我们通常在计算后验概率时忽略它,而只关注 P ( D ∣ θ ) P ( θ ) P(D|\theta) P(\theta) P(Dθ)P(θ) 的相对大小。

这篇关于似然概率、先验概率、后验概率和边缘概率的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1109192

相关文章

hdu4865(概率DP)

题意:已知前一天和今天的天气概率,某天的天气概率和叶子的潮湿程度的概率,n天叶子的湿度,求n天最有可能的天气情况。 思路:概率DP,dp[i][j]表示第i天天气为j的概率,状态转移如下:dp[i][j] = max(dp[i][j, dp[i-1][k]*table2[k][j]*table1[j][col] )  代码如下: #include <stdio.h>#include

2024年AI芯片峰会——边缘端侧AI芯片专场

概述 正文 存算一体,解锁大模型的边端侧潜力——信晓旭 当下AI芯片的亟需解决的问题 解决内存墙问题的路径 产品 面向大模型的国产工艺边缘AI芯片创新与展望——李爱军 端侧AI应用“芯”机遇NPU加速终端算力升级——杨磊 边缘端的大模型参数量基本小于100B AI OS:AI接口直接调用AI模型完成任务 具身智能的大脑芯片 大模

概率DP (由一道绿题引起的若干问题。目前为一些老题,蒟蒻的尝试学习1.0)

概率DP: 利用动态规划去解决 概率 期望 的题目。 概率DP 求概率(采用顺推) 从 初始状态推向结果,同一般的DP类似,只是经历了概率论知识的包装。 老题: 添加链接描述 题意: 袋子里有w只白鼠,b只黑鼠,A和B轮流从袋子里抓,谁先抓到白色谁就赢。A每次随机抓一只,B每次随机 抓完一只后 会有另外一只随机老鼠跑出来。如果两个人都没有抓到白色,那么B赢。A先抓,问A赢得概率。 w b 均在

外部中断的边缘触发和电平触发

MCS-51单片机中的边缘触发是指当输入引脚电平由高到低发生跳变时,才引起中断。而电平触发是指只要外部引脚为低电平就引起中断。         在电平触发方式下,当外部引脚的低电平在中断服务返回前没有被拉高时(即撤除中断请求状态),会引起反复的不需要的中断,造成程序执行的错误。这类中断方式下,需要在中断服务程序中设置指令,清除外部中断的低电平状态,使之变为高电平。

2024国赛论文拿奖快对照这几点及评阅要点,勿踩雷区!(国赛最后冲刺,提高获奖概率)

↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑ 2024“高教社杯”全国大学生数学建模竞赛已过去第三个夜晚,小伙伴们都累了没有,如果感到思维滞涩,别忘了稍作休息,放松一下自己,准备迎接国赛非常重要的收尾阶段——论文。 国赛这几天的努力最后都

从零开始学cv-14:图像边缘检测

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、图像边缘是什么?二、Sobel 算子三、Scharr 算子四、Prewitt算子五、Canny算子 前言 边缘检测是OpenCV中的一个重要组成部分,它用于识别图像中亮度变化显著的点,即边缘。通过边缘检测,我们可以从图像中提取出重要的特征,为后续的图像分析、形状识别和物体跟踪等任务奠定

HDU 4035 Maze (树状dp + 概率)

OJ题目 : click here ~~~ 题目分析 :这篇文章已经说的很好很好了 , 直接借用 ,猛戳~~ int n;double k[10002] , e[10002];double A[10002] , B[10002] , C[10002];vector<int> List[10002];bool dfs(int u , int father){if(List[u].s

前端自查【知识点】(高概率)2024最新版

HTML 如何理解 HTML 语义化 ? 仅通过标签便能判断内容的类型,特别是区分标题、段落、图片和表格 增加代码可读性(让人更容易读懂)对SEO更加友好 (让搜索引擎更容易读懂) HTML有哪些内联元素和块状元素 ? 内联元素 宽度由内容决定 display :inline 若非替换元素,不能设置宽高 img,span , a 等 display :inline-bl

【校招面经】统计与概率基础 part2

十六、对偶问题 线性规划有一个有趣的特性,就是任何一个求极大的问题都有一个与其匹配的求极小的线性规划问题。 例;原问题为 MAX X=8*Z1+10*Z2+2*Z3 s.t. 2*Z1+1*Z2+3*Z3 〈=70 4*Z1+2*Z2+2*Z3 〈=80 3*Z1+ 1*Z3 〈=15 2*Z1+2*Z2 〈=50 Z1,Z2,Z3 〉=0 Z则其对偶问题为 MIN =70*Y

【HDU】 4089 Activation 概率DP

题目大意:Tomato要玩一个游戏,他需要排队,一开始这个队列共有N个人,而他在队列的第M个位置,每当有玩家尝试激活登陆游戏时, 会概率性触发四个事件。p1的概率注册失败,队列无变化。p2的概率连接失败,排在队首的人排到队尾。p3的概率成功,队首出队。p4的概率服务器 瘫痪,停止激活!这时候如果排在Tomato前面的人不足K个,那么他会很气愤。问 : Tomato排在第k位以内服务器瘫痪的概率。