先验概率和后验概率

2024-04-13 01:44
文章标签 概率 后验 先验概率

本文主要是介绍先验概率和后验概率,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

全概率公式

A 1 , A 2 , . . . A n A_1,A_2,...A_n A1,A2,...An为样本空间 Ω \Omega Ω的一个完备事件组,且 P ( A i ) > 0 ( i = 1 , 2 , 3 , . . . , n ) P(A_i)>0 (i=1,2,3,...,n) P(Ai)>0(i=1,2,3,...,n) B B B为任一事件,则
P ( B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i) P(B)=i=1nP(Ai)P(BAi)

贝叶斯公式

A 1 , A 2 , . . . A n A_1,A_2,...A_n A1,A2,...An为样本空间 Ω \Omega Ω的一个完备事件组,且 P ( A i ) > 0 ( i = 1 , 2 , 3 , . . . , n ) P(A_i)>0 (i=1,2,3,...,n) P(Ai)>0(i=1,2,3,...,n) B B B为满足条件 P ( B ) > 0 P(B)>0 P(B)>0的任一事件,则
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)} P(AiB)=i=1nP(Ai)P(BAi)P(Ai)P(BAi)

先验概率(prior probability): 指根据以往经验和分析。 在实验或采样前就可以得到的概率。
后验概率(posterior probability): 指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。

<基础系列>1:先验概率 & 后验概率

交叉熵如何保证样本的先验概率与后验概率相等的
交叉熵是一种衡量两个概率分布之间差异的度量方法,常用于分类问题中评估模型输出概率分布与真实标签的概率分布之间的差异。在这种应用中,模型输出的是后验概率分布,而与之比较的真实标签则可以被视为先验概率分布的一种表示。

首先,我们需要澄清一个概念上的误区:交叉熵本身并不保证样本的先验概率与后验概率相等。交叉熵是用来衡量两个概率分布之间差异的,其核心目的在于通过最小化模型输出(后验概率)与真实标签分布(可以视作一种“目标”先验概率分布)之间的交叉熵,使模型学习到的概率分布尽可能地接近真实的概率分布。

具体来说,如果我们有一个分类任务,真实标签(对应于先验概率)可以表示为一个"one-hot"向量,例如在一个三分类问题中,某个样本真实的类别是第二类,那么它的表示可以是[0, 1, 0]。这里,"1"的位置表示这个样本属于第二类的概率是100%,而其他位置为0表示该样本属于其他类的概率是0%。这就是我们说的先验概率分布。

模型在这个样本上的输出,即后验概率分布,可能是像[0.1, 0.7, 0.2]这样的一个向量,表示模型认为这个样本属于第一、第二、第三类的概率分别是10%, 70%, 和20%。这时,我们使用交叉熵来衡量这两个分布之间的差异。

在训练过程中,通过反向传播算法优化模型参数,目的就是最小化交叉熵,从而鼓励模型的后验概率分布尽可能接近于先验概率分布。但是,这里的“先验概率分布”实际上是通过数据给定的,它代表了我们对样本真实分类的知识或者说标签。

总之,交叉熵作为损失函数,在机器学习中主要用来指导模型输出的后验概率分布向真实的标签(也可以理解为一种先验概率分布)靠拢,但它并不保证先验概率与后验概率绝对相等,而是通过不断优化过程中减小两者之间的差异。

这篇关于先验概率和后验概率的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/898818

相关文章

hdu4865(概率DP)

题意:已知前一天和今天的天气概率,某天的天气概率和叶子的潮湿程度的概率,n天叶子的湿度,求n天最有可能的天气情况。 思路:概率DP,dp[i][j]表示第i天天气为j的概率,状态转移如下:dp[i][j] = max(dp[i][j, dp[i-1][k]*table2[k][j]*table1[j][col] )  代码如下: #include <stdio.h>#include

概率DP (由一道绿题引起的若干问题。目前为一些老题,蒟蒻的尝试学习1.0)

概率DP: 利用动态规划去解决 概率 期望 的题目。 概率DP 求概率(采用顺推) 从 初始状态推向结果,同一般的DP类似,只是经历了概率论知识的包装。 老题: 添加链接描述 题意: 袋子里有w只白鼠,b只黑鼠,A和B轮流从袋子里抓,谁先抓到白色谁就赢。A每次随机抓一只,B每次随机 抓完一只后 会有另外一只随机老鼠跑出来。如果两个人都没有抓到白色,那么B赢。A先抓,问A赢得概率。 w b 均在

2024国赛论文拿奖快对照这几点及评阅要点,勿踩雷区!(国赛最后冲刺,提高获奖概率)

↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑ 2024“高教社杯”全国大学生数学建模竞赛已过去第三个夜晚,小伙伴们都累了没有,如果感到思维滞涩,别忘了稍作休息,放松一下自己,准备迎接国赛非常重要的收尾阶段——论文。 国赛这几天的努力最后都

HDU 4035 Maze (树状dp + 概率)

OJ题目 : click here ~~~ 题目分析 :这篇文章已经说的很好很好了 , 直接借用 ,猛戳~~ int n;double k[10002] , e[10002];double A[10002] , B[10002] , C[10002];vector<int> List[10002];bool dfs(int u , int father){if(List[u].s

前端自查【知识点】(高概率)2024最新版

HTML 如何理解 HTML 语义化 ? 仅通过标签便能判断内容的类型,特别是区分标题、段落、图片和表格 增加代码可读性(让人更容易读懂)对SEO更加友好 (让搜索引擎更容易读懂) HTML有哪些内联元素和块状元素 ? 内联元素 宽度由内容决定 display :inline 若非替换元素,不能设置宽高 img,span , a 等 display :inline-bl

【校招面经】统计与概率基础 part2

十六、对偶问题 线性规划有一个有趣的特性,就是任何一个求极大的问题都有一个与其匹配的求极小的线性规划问题。 例;原问题为 MAX X=8*Z1+10*Z2+2*Z3 s.t. 2*Z1+1*Z2+3*Z3 〈=70 4*Z1+2*Z2+2*Z3 〈=80 3*Z1+ 1*Z3 〈=15 2*Z1+2*Z2 〈=50 Z1,Z2,Z3 〉=0 Z则其对偶问题为 MIN =70*Y

【HDU】 4089 Activation 概率DP

题目大意:Tomato要玩一个游戏,他需要排队,一开始这个队列共有N个人,而他在队列的第M个位置,每当有玩家尝试激活登陆游戏时, 会概率性触发四个事件。p1的概率注册失败,队列无变化。p2的概率连接失败,排在队首的人排到队尾。p3的概率成功,队首出队。p4的概率服务器 瘫痪,停止激活!这时候如果排在Tomato前面的人不足K个,那么他会很气愤。问 : Tomato排在第k位以内服务器瘫痪的概率。

人工智能之概率轮--5个灯泡的概率问题

题目:假设某电路由5个灯泡组装而成,连接方式如图所示。 假设5个灯泡在某时间范围内各自都能正常工作的概率都是p,且它们正常工作的事件是相互独立的,请问该电路在该时间范围内正常工作的概率是多少?   答: 第一种分析方法: 设2,3,1,4,5,分别为A,B,C,D,E。 那么有: P(A)=P(B)=P(C)=P(D)=P(E)=P 元件C是关键, 如果C正常工作,那么就会有

pyro.optim pyro ppl 概率编程 优化器 pytorch

最佳化¶ 该模块pyro.optim为Pyro中的优化提供支持。特别是,它提供了焦光性,用于包装PyTorch优化器并管理动态生成参数的优化器(参见教程SVI第一部分供讨论)。任何自定义优化算法也可以在这里找到。 烟火优化器¶ is _调度程序(【计算机】优化程序)→ 弯曲件[来源]¶ 帮助器方法,用于确定PyTorch对象是PyTorch优化器(返回false)还是包装在LRSchedu

多线程 + 网络 + 概率 + 基础 + 文件

cocos2dx多线程以及线程同步 与 cocos2dx内存管理与多线程问题 ------- 火车售票       iOS开发Swift篇(02) NSThread线程相关简单说明 --- http://www.cnblogs.com/wendingding/p/5409149.html   C++11 多线程  -------  http://www.cnblogs.com/zhuyp