概率之常用概率分布

2024-06-24 02:32
文章标签 常用 概率 概率分布

本文主要是介绍概率之常用概率分布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Bernoulli分布

单个二值随机变量的分布。它由单个参数\small \phi \in [0,1]控制,\small \phi给出了随机变量等于1的概率。它具有如下的一些性质。

\small P(x=1)=\phi

\small P(x=0)=1-\phi

\small P(\mathrm x = x) = \phi ^x (1 - \phi)^{1-x}

\small E_x[x] = \phi

\small Var_x(x) = \phi (1 - \phi)

2. Multinoulli分布

Multinoulli分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。

3. 高斯分布

高斯分布(Gaussian distribution)也称为正态分布(normal distribution):

\small \mathcal N (x; \mu, \sigma ^2) = \sqrt {\frac{1}{2\pi \sigma ^2}} exp (-\frac{1}{2 \sigma ^2} (x - \mu) ^ 2)

正态分布由两个参数控制,\small \mu \in \mathbb R, \sigma \in (0, \infty)。参数\small \mu给出了中心峰值的坐标即期望值E[x],分布的标准差用\small \sigma表示,方差用\small \sigma ^2表示。为表示方便,令\small \beta = \frac{1}{\sigma ^2}, \beta \in (0, \infty),上式可写成如下形式:

\small \mathcal N(x; \mu, \beta ^{-1}) = \frac{\beta}{2\pi} exp (-\frac{1}{2} \beta(x - \mu) ^ 2)

当我们缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择。原因有如下两个:

1. 我们想要建模的很多分布的真实情况是比较接近正态分布的。

2. 在具有相同方差的所有可能的概率分布中,正态分布在实数上具有最大的不确定性。

正态分布可以推广到\small \mathbb R^n空间,这种被称为多维正态分布(multivariate normal distribution)。它的参数是一个正定对称矩阵\small \Sigma:

\small \mathcal N(x; \mu, \Sigma) = \sqrt{\frac{1}{(2\pi)^n det(\Sigma))}} exp (-\frac{1}{2}(x - \mu)^{\top} \Sigma ^ {-1} (x - \mu))

参数\small \mu仍然表示的是分布的均值,只不过不再是标量而是一个向量值。参数\small \Sigma给出了分布的协方差矩阵。令\small \beta = \Sigma ^ {-1}

\small \mathcal N(x; \mu, \beta ^ {-1}) = \sqrt{\frac{det(\beta)}{(2\pi)^n}} exp (-\frac{1}{2}(x - \mu)^{\top} \beta (x - \mu))

4. 指数分布和Laplace分布

指数分布(exponential distribution):

\small \begin{center} p(x;\lambda) = \lambda1_{x \geq 0} exp(- \lambda x) \end{center}

指数分布用指示函数(indicator function) \small 1_{x \geq 0} 来使得当x取负值时的概率为零。

一个联系紧密的概率分布是Laplace分布,它允许我们在任意一点\small \mu处设置概率质量的峰值:

\small Laplace(x; \mu, \gamma) = \frac{1}{2 \gamma} exp (- \frac{|x - \mu|}{\gamma})

5. Dirac分布和经验分布

在一些情况下,我们希望概率分布中的所有质量都集中在一个点上。这可以通过Dirac delta函数(Dirac delta function)定义概率密度函数来实现:

\small p(x) = \delta(x - \mu)

Dirac分布经常作为经验分布(empirical distribution)的一个组成部分出现:

\small \hat{p}(x) = \frac{1}{m} \sum_{i=1}^{m} \delta(x - x^{(i)})

 

 

 

 

 

 

 

 

 

 

 

 

这篇关于概率之常用概率分布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1088940

相关文章

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,:本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安

python判断文件是否存在常用的几种方式

《python判断文件是否存在常用的几种方式》在Python中我们在读写文件之前,首先要做的事情就是判断文件是否存在,否则很容易发生错误的情况,:本文主要介绍python判断文件是否存在常用的几种... 目录1. 使用 os.path.exists()2. 使用 os.path.isfile()3. 使用

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe

Python将字符串转换为小写字母的几种常用方法

《Python将字符串转换为小写字母的几种常用方法》:本文主要介绍Python中将字符串大写字母转小写的四种方法:lower()方法简洁高效,手动ASCII转换灵活可控,str.translate... 目录一、使用内置方法 lower()(最简单)二、手动遍历 + ASCII 码转换三、使用 str.tr

Spring Boot 常用注解整理(最全收藏版)

《SpringBoot常用注解整理(最全收藏版)》本文系统整理了常用的Spring/SpringBoot注解,按照功能分类进行介绍,每个注解都会涵盖其含义、提供来源、应用场景以及代码示例,帮助开发... 目录Spring & Spring Boot 常用注解整理一、Spring Boot 核心注解二、Spr