【深度学习】S2 数学基础 P6 概率论

2024-02-18 01:12

本文主要是介绍【深度学习】S2 数学基础 P6 概率论,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 基本概率论
    • 概率论公理
    • 随机变量
  • 多个随机变量
    • 联合概率
    • 条件概率
    • 贝叶斯定理
    • 求和法则
    • 独立性
  • 期望与方差
  • 小结

基本概率论

机器学习本质上,就是做出预测。而概率论提供了一种量化和表达不确定性水平的方法,可以帮助我们量化对某个结果的确定性程度。

在一个简单的图像分类任务中;

  • 如果我们非常确定图像中的对象是一只猫,那么我们可以说标签为 “猫” 的概率是 1,即 P ( y = “猫” ) = 1 P(y =“猫”) = 1 P(y=)=1;
  • 如果我们无法区分图像是猫还是狗,那么我们可以说两者出现的概率相等,即 P ( y = “猫” ) = P ( y = “狗” ) = 0.5 P(y =“猫”) = P(y =“狗”) = 0.5 P(y=)=P(y=)=0.5;
  • 如果我们对图像是否为猫不太确定,我们可以将概率设置在一个介于 0.5 和 1 之间的值,表示我们对其为猫的确定性程度不是完全的,但比完全不确定要高。

这种概率的量化和比较使得我们可以更加客观和量化地评估和处理不确定性。

概率论公理

概率论名词:

  • 样本空间:所有可能结果的集合;
  • 事件:给定样本空间的一个子集;
  • 概率:将集合映射到真实值的函数,反映了事件发生的可能性;

概率论公理:

  • 对于任意事件,其概率从不会是负数;
  • 整个样本空间的概率为 1;
  • 对于互斥事件(A、B、C互斥),有 P ( A ∪ B ∪ C ) = P ( A ) + P ( B ) + P ( C ) P(A∪B∪C)=P(A) + P(B) + P(C) P(ABC)=P(A)+P(B)+P(C)

随机变量

随机变量是将样本空间中的每个结果映射到一个实数集上的函数;

e . g . e.g. e.g. 以掷一个六面的骰子为例,其样本空间 S S S 包含所有可能的结果,即 S = { 1 , 2 , 3 , 4 , 5 , 6 } S = \{1, 2, 3, 4, 5, 6\} S={1,2,3,4,5,6}。我们定义一个随机变量 X X X,它将每个结果映射到一个实数。这里假设我们设定 X = x 2 + 1 X = x^2+1 X=x2+1,其中 x x x 为骰子的结果。

那么我们可以计算出每个结果对应的 X X X 值:

  • x = 1 x=1 x=1 时, X = x 2 + 1 = 2 X = x^2+1=2 X=x2+1=2
  • x = 2 x=2 x=2 时, X = x 2 + 1 = 5 X = x^2+1=5 X=x2+1=5
  • x = 3 x=3 x=3 时, X = x 2 + 1 = 10 X = x^2+1=10 X=x2+1=10
  • x = 4 x=4 x=4 时, X = x 2 + 1 = 17 X = x^2+1=17 X=x2+1=17
  • x = 5 x=5 x=5 时, X = x 2 + 1 = 26 X = x^2+1=26 X=x2+1=26
  • x = 6 x=6 x=6 时, X = x 2 + 1 = 37 X = x^2+1=37 X=x2+1=37

因此,离散随机变量 X X X 的可能取值为 {2, 5, 10, 17, 26, 37};在公平骰子的情况下,每个结果出现的概率是相等的,出现的概率都为 1 6 \frac 1 6 61


多个随机变量

联合概率

联合概率 P ( A = a , B = b ) P(A=a, B=b) P(A=a,B=b) 描述的是事件 A A A 发生且事件 B B B 也发生的概率。具体来说,它表示在所有可能的情况中,事件 A A A 结果为 a a a 且事件 B B B 结果为 b b b 的这种情况出现的概率是多少。

隐含在这个概念中的概率定律是,事件 A A A 和事件 B B B 同时发生的概率不会超过事件 A A A 或者事件 B B B 单独发生的概率。即 P ( A = a , B = b ) ≤ P ( A = a ) P(A=a, B=b) ≤ P(A=a) P(A=a,B=b)P(A=a)

条件概率

而联合概率不等式的变形:
0 ≤ P ( A = a , B = b ) P ( A = a ) ≤ 1 0 ≤ \frac {P(A=a, B=b)} {P(A=a)} ≤ 1 0P(A=a)P(A=a,B=b)1

这个比率称为条件概率,并用 P ( B = b ∣ A = a ) P(B=b|A=a) P(B=bA=a) 来表示。他是 B = b B=b B=b 的概率,前提是 A = a A=a A=a 已发生。

完整公式为: P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac {P(AB)} {P(A)} P(BA)=P(A)P(AB)

贝叶斯定理

根据条件概率的定义,我们可以得出统计学最有用的方程之一:Bayes 贝叶斯定理。
P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} P(AB)=P(B)P(BA)P(A)

贝叶斯定理的直观含义是,当我们观察到事件 B B B 发生时,事件 A A A 发生的概率会根据事件 B B B 发生的概率和对事件 A A A B B B 相关性的了解而改变。贝叶斯定理是一种强大的工具,可以帮助我们在有新的证据出现时更新我们对某个假设的信念。

求和法则

根据求和法则, P ( B ) = ∑ A P ( A , B ) P(B)=\sum_{A}P(A,B) P(B)=AP(A,B)

B B B 的概率相当于计算 A A A 的所有可能选择,并将所有选择联合概率聚合在一起。

独立性

如果两个随机变量 A A A B B B 是独立的,意味着事件 A A A 的发生跟事件 B B B 的发生无关。根据贝叶斯定理,马上就能得到 P ( A ∣ B ) = P ( A ) P(A|B)=P(A) P(AB)=P(A)

独立性的一个常见例子是抛硬币。抛掷一枚公平的硬币,事件 A A A 是出现正面,事件 B B B 是出现反面。因为硬币的每一面出现都是相互独立的,所以事件 A A A 发生不影响事件 B B B 发生的概率,反之亦然。因此,事件 A 和事件 B 是独立的。

独立性在统计学和概率论中非常有用,它简化了我们对事件之间关系的理解。如果我们知道两个事件是独立的,那么我们就可以将它们的概率分开来考虑,而不需要考虑它们之间的任何关系。


期望与方差

期望描述了一个随机变量在多次重复实验中平均可能取得的值。
E x P [ f ( x ) ] = ∑ x f ( x ) P ( x ) E_{x~P}[f(x)]=\sum _x f(x)P(x) Ex P[f(x)]=xf(x)P(x)

方差衡量的是随机变量分布中采样不同的 x x x 值时,函数值偏离该函数的期望的程度。
V a r [ f ( x ) ] = E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] Var[f(x)]=E[(f(x)-E[f(x)])^2] Var[f(x)]=E[(f(x)E[f(x)])2]


小结

  • 我们可以从概率分布中采样;
  • 我们可以使用联合分布、条件分布、Bayes 定理、边缘化和独立性假设等来分析多个随机变量;
  • 期望和方差为概率分布的关键特征的概括提供了实用的度量形式。

以上
本节概率论内容全部为理论知识。实践部分将在后续博文中逐步展现。

2024.2.15

这篇关于【深度学习】S2 数学基础 P6 概率论的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/719582

相关文章

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Android Mainline基础简介

《AndroidMainline基础简介》AndroidMainline是通过模块化更新Android核心组件的框架,可能提高安全性,本文给大家介绍AndroidMainline基础简介,感兴趣的朋... 目录关键要点什么是 android Mainline?Android Mainline 的工作原理关键

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

Python基础语法中defaultdict的使用小结

《Python基础语法中defaultdict的使用小结》Python的defaultdict是collections模块中提供的一种特殊的字典类型,它与普通的字典(dict)有着相似的功能,本文主要... 目录示例1示例2python的defaultdict是collections模块中提供的一种特殊的字

Python基础文件操作方法超详细讲解(详解版)

《Python基础文件操作方法超详细讲解(详解版)》文件就是操作系统为用户或应用程序提供的一个读写硬盘的虚拟单位,文件的核心操作就是读和写,:本文主要介绍Python基础文件操作方法超详细讲解的相... 目录一、文件操作1. 文件打开与关闭1.1 打开文件1.2 关闭文件2. 访问模式及说明二、文件读写1.

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》:本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托(Multicast Delegates)4. 委托的用途事件处理回调函数LINQ

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言