概率之常用概率分布

2024-06-24 02:32
文章标签 常用 概率 概率分布

本文主要是介绍概率之常用概率分布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Bernoulli分布

单个二值随机变量的分布。它由单个参数\small \phi \in [0,1]控制,\small \phi给出了随机变量等于1的概率。它具有如下的一些性质。

\small P(x=1)=\phi

\small P(x=0)=1-\phi

\small P(\mathrm x = x) = \phi ^x (1 - \phi)^{1-x}

\small E_x[x] = \phi

\small Var_x(x) = \phi (1 - \phi)

2. Multinoulli分布

Multinoulli分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。

3. 高斯分布

高斯分布(Gaussian distribution)也称为正态分布(normal distribution):

\small \mathcal N (x; \mu, \sigma ^2) = \sqrt {\frac{1}{2\pi \sigma ^2}} exp (-\frac{1}{2 \sigma ^2} (x - \mu) ^ 2)

正态分布由两个参数控制,\small \mu \in \mathbb R, \sigma \in (0, \infty)。参数\small \mu给出了中心峰值的坐标即期望值E[x],分布的标准差用\small \sigma表示,方差用\small \sigma ^2表示。为表示方便,令\small \beta = \frac{1}{\sigma ^2}, \beta \in (0, \infty),上式可写成如下形式:

\small \mathcal N(x; \mu, \beta ^{-1}) = \frac{\beta}{2\pi} exp (-\frac{1}{2} \beta(x - \mu) ^ 2)

当我们缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择。原因有如下两个:

1. 我们想要建模的很多分布的真实情况是比较接近正态分布的。

2. 在具有相同方差的所有可能的概率分布中,正态分布在实数上具有最大的不确定性。

正态分布可以推广到\small \mathbb R^n空间,这种被称为多维正态分布(multivariate normal distribution)。它的参数是一个正定对称矩阵\small \Sigma:

\small \mathcal N(x; \mu, \Sigma) = \sqrt{\frac{1}{(2\pi)^n det(\Sigma))}} exp (-\frac{1}{2}(x - \mu)^{\top} \Sigma ^ {-1} (x - \mu))

参数\small \mu仍然表示的是分布的均值,只不过不再是标量而是一个向量值。参数\small \Sigma给出了分布的协方差矩阵。令\small \beta = \Sigma ^ {-1}

\small \mathcal N(x; \mu, \beta ^ {-1}) = \sqrt{\frac{det(\beta)}{(2\pi)^n}} exp (-\frac{1}{2}(x - \mu)^{\top} \beta (x - \mu))

4. 指数分布和Laplace分布

指数分布(exponential distribution):

\small \begin{center} p(x;\lambda) = \lambda1_{x \geq 0} exp(- \lambda x) \end{center}

指数分布用指示函数(indicator function) \small 1_{x \geq 0} 来使得当x取负值时的概率为零。

一个联系紧密的概率分布是Laplace分布,它允许我们在任意一点\small \mu处设置概率质量的峰值:

\small Laplace(x; \mu, \gamma) = \frac{1}{2 \gamma} exp (- \frac{|x - \mu|}{\gamma})

5. Dirac分布和经验分布

在一些情况下,我们希望概率分布中的所有质量都集中在一个点上。这可以通过Dirac delta函数(Dirac delta function)定义概率密度函数来实现:

\small p(x) = \delta(x - \mu)

Dirac分布经常作为经验分布(empirical distribution)的一个组成部分出现:

\small \hat{p}(x) = \frac{1}{m} \sum_{i=1}^{m} \delta(x - x^{(i)})

 

 

 

 

 

 

 

 

 

 

 

 

这篇关于概率之常用概率分布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1088940

相关文章

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

usb接口驱动异常问题常用解决方案

《usb接口驱动异常问题常用解决方案》当遇到USB接口驱动异常时,可以通过多种方法来解决,其中主要就包括重装USB控制器、禁用USB选择性暂停设置、更新或安装新的主板驱动等... usb接口驱动异常怎么办,USB接口驱动异常是常见问题,通常由驱动损坏、系统更新冲突、硬件故障或电源管理设置导致。以下是常用解决

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

Java String字符串的常用使用方法

《JavaString字符串的常用使用方法》String是JDK提供的一个类,是引用类型,并不是基本的数据类型,String用于字符串操作,在之前学习c语言的时候,对于一些字符串,会初始化字符数组表... 目录一、什么是String二、如何定义一个String1. 用双引号定义2. 通过构造函数定义三、St

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Java常用注解扩展对比举例详解

《Java常用注解扩展对比举例详解》:本文主要介绍Java常用注解扩展对比的相关资料,提供了丰富的代码示例,并总结了最佳实践建议,帮助开发者更好地理解和应用这些注解,需要的朋友可以参考下... 目录一、@Controller 与 @RestController 对比二、使用 @Data 与 不使用 @Dat

Mysql中深分页的五种常用方法整理

《Mysql中深分页的五种常用方法整理》在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择... 目录方案一:延迟关联 (Deferred Join)方案二:有序唯一键分页 (Cursor-based Paginatio

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L