概率之常用概率分布

2024-06-24 02:32
文章标签 常用 概率 概率分布

本文主要是介绍概率之常用概率分布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Bernoulli分布

单个二值随机变量的分布。它由单个参数\small \phi \in [0,1]控制,\small \phi给出了随机变量等于1的概率。它具有如下的一些性质。

\small P(x=1)=\phi

\small P(x=0)=1-\phi

\small P(\mathrm x = x) = \phi ^x (1 - \phi)^{1-x}

\small E_x[x] = \phi

\small Var_x(x) = \phi (1 - \phi)

2. Multinoulli分布

Multinoulli分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。

3. 高斯分布

高斯分布(Gaussian distribution)也称为正态分布(normal distribution):

\small \mathcal N (x; \mu, \sigma ^2) = \sqrt {\frac{1}{2\pi \sigma ^2}} exp (-\frac{1}{2 \sigma ^2} (x - \mu) ^ 2)

正态分布由两个参数控制,\small \mu \in \mathbb R, \sigma \in (0, \infty)。参数\small \mu给出了中心峰值的坐标即期望值E[x],分布的标准差用\small \sigma表示,方差用\small \sigma ^2表示。为表示方便,令\small \beta = \frac{1}{\sigma ^2}, \beta \in (0, \infty),上式可写成如下形式:

\small \mathcal N(x; \mu, \beta ^{-1}) = \frac{\beta}{2\pi} exp (-\frac{1}{2} \beta(x - \mu) ^ 2)

当我们缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择。原因有如下两个:

1. 我们想要建模的很多分布的真实情况是比较接近正态分布的。

2. 在具有相同方差的所有可能的概率分布中,正态分布在实数上具有最大的不确定性。

正态分布可以推广到\small \mathbb R^n空间,这种被称为多维正态分布(multivariate normal distribution)。它的参数是一个正定对称矩阵\small \Sigma:

\small \mathcal N(x; \mu, \Sigma) = \sqrt{\frac{1}{(2\pi)^n det(\Sigma))}} exp (-\frac{1}{2}(x - \mu)^{\top} \Sigma ^ {-1} (x - \mu))

参数\small \mu仍然表示的是分布的均值,只不过不再是标量而是一个向量值。参数\small \Sigma给出了分布的协方差矩阵。令\small \beta = \Sigma ^ {-1}

\small \mathcal N(x; \mu, \beta ^ {-1}) = \sqrt{\frac{det(\beta)}{(2\pi)^n}} exp (-\frac{1}{2}(x - \mu)^{\top} \beta (x - \mu))

4. 指数分布和Laplace分布

指数分布(exponential distribution):

\small \begin{center} p(x;\lambda) = \lambda1_{x \geq 0} exp(- \lambda x) \end{center}

指数分布用指示函数(indicator function) \small 1_{x \geq 0} 来使得当x取负值时的概率为零。

一个联系紧密的概率分布是Laplace分布,它允许我们在任意一点\small \mu处设置概率质量的峰值:

\small Laplace(x; \mu, \gamma) = \frac{1}{2 \gamma} exp (- \frac{|x - \mu|}{\gamma})

5. Dirac分布和经验分布

在一些情况下,我们希望概率分布中的所有质量都集中在一个点上。这可以通过Dirac delta函数(Dirac delta function)定义概率密度函数来实现:

\small p(x) = \delta(x - \mu)

Dirac分布经常作为经验分布(empirical distribution)的一个组成部分出现:

\small \hat{p}(x) = \frac{1}{m} \sum_{i=1}^{m} \delta(x - x^{(i)})

 

 

 

 

 

 

 

 

 

 

 

 

这篇关于概率之常用概率分布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1088940

相关文章

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Java常用注解扩展对比举例详解

《Java常用注解扩展对比举例详解》:本文主要介绍Java常用注解扩展对比的相关资料,提供了丰富的代码示例,并总结了最佳实践建议,帮助开发者更好地理解和应用这些注解,需要的朋友可以参考下... 目录一、@Controller 与 @RestController 对比二、使用 @Data 与 不使用 @Dat

Mysql中深分页的五种常用方法整理

《Mysql中深分页的五种常用方法整理》在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择... 目录方案一:延迟关联 (Deferred Join)方案二:有序唯一键分页 (Cursor-based Paginatio

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

C#中的 Dictionary常用操作

《C#中的Dictionary常用操作》C#中的DictionaryTKey,TValue是用于存储键值对集合的泛型类,允许通过键快速检索值,并且具有唯一键、动态大小和无序集合的特性,常用操作包括添... 目录基本概念Dictionary的基本结构Dictionary的主要特性Dictionary的常用操作

Python中常用的四种取整方式分享

《Python中常用的四种取整方式分享》在数据处理和数值计算中,取整操作是非常常见的需求,Python提供了多种取整方式,本文为大家整理了四种常用的方法,希望对大家有所帮助... 目录引言向零取整(Truncate)向下取整(Floor)向上取整(Ceil)四舍五入(Round)四种取整方式的对比综合示例应

C#中读取XML文件的四种常用方法

《C#中读取XML文件的四种常用方法》Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具,下面我们就来看看C#中读取XML文件的方法都有哪些吧... 目录XML简介格式C#读取XML文件方法使用XmlDocument使用XmlTextReader/XmlTextWr

CSS弹性布局常用设置方式

《CSS弹性布局常用设置方式》文章总结了CSS布局与样式的常用属性和技巧,包括视口单位、弹性盒子布局、浮动元素、背景和边框样式、文本和阴影效果、溢出隐藏、定位以及背景渐变等,通过这些技巧,可以实现复杂... 一、单位元素vm 1vm 为视口的1%vh 视口高的1%vmin 参照长边vmax 参照长边re